Neural Style Transfer(5) : Style Cost Function

Meaning of the "style" of an image

• 우선은 이미지의 "style"이 무엇인지에 대해 먼저 정의해야 합니다.
  • 정의 : 채널 간 activation의 상관관계
  • 정의가 굉장히 추상적인데요, 다른 채널의 결과를 겹쳐 놓았을 때, 동일한 위치에서 각 activation들이 어떤 상관관계를 가지고 있는지 파악하는 것으로 이해할 수 있습니다.

 

Intuition about style of an image

• 위 예시에서 빨간색 채널과 노란색 채널의 상관관계를 비교합니다.
  • 두 채널이 높은 상관관계를 지닌다는 것은 세로줄과 주황색이라는 특징이 겹칠 가능성이 높다는 뜻입니다.
  • 반대도 동일하게 성립하는 것이므로, 생성된 이미지에서의 채널 간 관계를 비교할 수 있습니다.

 

Style matrix

• 모든 채널 간 상관관계를 구할 수 있는 style matrix입니다.
  • i, j, k는 각각 H, W, C 를 의미합니다.
  • l번째 layer의 G는 해당 레이어에 존재하는 채널 간 상관관계를 구하는 matrix이므로 '채널 수 x 채널 수'의 차원을 갖습니다.
• 각 layer에 존재하는 모든 unit 간의 상관관계를 style, generated 이미지에서 각각 구합니다.
  • 이를 원래는 Gram Matrix라고 부르지만 여기서는 Style matrix라고 부릅니다.
• 결론적으로 style / generated 이미지 사이의 style cost는 두 matrix의 차의 제곱으로 구합니다.

 

Style cost function

• 결론적으로 style에서의 cost와 content에서의 cost를 더해주면 됩니다.
  • 물론 style cost에 대해서도 적당한 가중치를 부여하는 것이 도움이 될 수 있습니다.
  • 위 수식에서 시그마 우측의 style matrix간 차는 "제곱"되어야 합니다(강의 자료 미스)

 

 

출처: Coursera, Convolutional Neural Networks, DeepLearning.AI