CNN

관심있는 NLP 논문을 읽어보고 ChatGPT를 이용해 정리했습니다. (요약을 제외한 모든 내용은 ChatGPT가 요약한 내용입니다 😁) 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success [Carnegie Mellon University, Princeton University] - selective SSMs을 simplified end-to-end neural network architecture로 통합함 - attention 또는 심지어 MLP block을 포함하지 않음 1. Introduction 기초 모델(FMs)의 개요 FMs는 대규모 데이터로 사전 학습된 후 하위 작업에 적용되는 대형 모델로, 현대 머신러닝에서 효과적인 패러다임으로 부상...

Convolutions in 2D and 1D 우리는 이전까지 R,G,B 색상을 가지는 3차원 이미지에 대한 convolution을 살펴봤습니다. 그때의 방식을 동일하게 2D, 1D에도 적용할 수 있습니다. 필수차원만 잘 맞춰준다면 전체 차원수는 차이가 있지만 동일한 논리로 filter를 적용하여 convolution할 수 있습니다. 3D convolution 항상 계산해왔던 것처럼 height, width, depth, 그리고 channel수를 맞춰줍니다. 다음 layer의 마지막 차원은 이전 layer의 filter수로 업데이트 됩니다. 위 과정을 반복하면 됩니다. 출처: Coursera, Convolutional Neural Networks, DeepLearning.AI

Meaning of the "style" of an image 우선은 이미지의 "style"이 무엇인지에 대해 먼저 정의해야 합니다. 정의 : 채널 간 activation의 상관관계 정의가 굉장히 추상적인데요, 다른 채널의 결과를 겹쳐 놓았을 때, 동일한 위치에서 각 activation들이 어떤 상관관계를 가지고 있는지 파악하는 것으로 이해할 수 있습니다. Intuition about style of an image 위 예시에서 빨간색 채널과 노란색 채널의 상관관계를 비교합니다. 두 채널이 높은 상관관계를 지닌다는 것은 세로줄과 주황색이라는 특징이 겹칠 가능성이 높다는 뜻입니다. 반대도 동일하게 성립하는 것이므로, 생성된 이미지에서의 채널 간 관계를 비교할 수 있습니다. Style matrix 모든 채널..

(3) Cost Function Neural style transfer cost function 스타일을 접목시켜 생성하는 이미지에 대한 cost function은 굉장히 독특하게 정의되네요. 기존 이미지 C와의 cost function과 스타일 이미지 S의 cost function에 각각 가중치를 부여한 것의 합으로 정의됩니다. Find the generated image G 이미지 G를 생성하는 방식은 이전의 CNN과 동일합니다. 다만 input이 없으므로 random하게 초기화하는 것에서만 차이가 존재합니다. 학습을 거듭함에 따라 gradient descent를 적용하여 cost function을 최소화하는 방향으로 최적화됩니다. (4) Content Cost Function content cost..

(1) What is Neural Style Transfer? Neural style transfer Neural style transfer는 쉽게 스타일 전이 정도로 이해할 수 있겠습니다. Style 이미지의 feature를 Content에 반영하여 새로운 이미지를 Generate하는 것이죠. (2) What are deep ConvNets learning? Visualizing what a deep network is learning layer 1에 있는 unit 하나를 골라서 이를 가장 크게 활성화시키는 9개의 이미지 패치를 반복적으로 찾아봅니다. 이때 가장 크게 활성화시킨다는 것은 활성화 함수에 가장 큰 영향을 준다로 이해할 수 있겠습니다. Visualizing deep layers 위 과정을 각..

Learning the similarity function 이전까지 배운 내용을 적용하면 위의 식으로 y hat, 즉 예측값을 구할 수 있습니다. 두 input으로 구한 output의 차, 그리고 이것을 제곱한 것이 loss function이 되었습니다. 우리는 그래서 이 loss function의 값에 따라서 일정 기준(threshold)가 넘냐 넘지 않느냐를 보고 0 또는 1로 예측합니다. 여기서 0과 1은 각각 동일 인물이 아님, 동일 인물임을 의미합니다. 두 output의 차 대신 카이제곱 분포를 사용할 수도 있다고 합니다. 결국 output의 차에 weight를 곱하고 bias를 더한 것을 sigmoid 함수의 input으로 사용하게 되면 0 또는 1의 y hat을 얻을 수 있게 됩니다. 만약 ..