Neural Style Transfer(1),(2) : What is Neural Style Transfer?, What are deep ConvNets learning?

(1) What is Neural Style Transfer?

Neural style transfer

• Neural style transfer는 쉽게 스타일 전이 정도로 이해할 수 있겠습니다.
  • Style 이미지의 feature를 Content에 반영하여 새로운 이미지를 Generate하는 것이죠.

 

(2) What are deep ConvNets learning?

Visualizing what a deep network is learning

• layer 1에 있는 unit 하나를 골라서 이를 가장 크게 활성화시키는 9개의 이미지 패치를 반복적으로 찾아봅니다.
  • 이때 가장 크게 활성화시킨다는 것은 활성화 함수에 가장 큰 영향을 준다로 이해할 수 있겠습니다.

 

Visualizing deep layers

• 위 과정을 각 layer에 대해 반복하면 이런 이미지 패치들의 결과를 얻을 수 있습니다.
  • layer가 깊어질수록 모델이 이미지의 보다 큰 영역을 살펴보고 있음을 알 수 있습니다.
    이에 따라서 실제 이미지에 가까운 결과물들이 확인됩니다.
  • 다시 말하자면 layer가 깊어질수록 output에 주는 영향이 커진다고 볼 수 있습니다.

 

 

출처: Coursera, Convolutional Neural Networks, DeepLearning.AI