Sequence Models

Examples of sequence data 지난 시간까지 공부한 RNN은 Tx = Ty인, 즉 입력과 출력의 개수가 동일한 경우였습니다. 하지만 실제로 RNN은 그렇지 않은 경우가 많습니다(더 많겠죠 정확히는). 예를 들어 기계 번역의 경우, 같은 의미를 지닌 두 문장이 언어에 따라 다른 길이를 가질 수 있습니다. Examples of RNN architectures input과 output의 길이(개수)에 따라 RNN의 architecture를 위와 같이 구분할 수 있습니다. Summary of RNN types One to one : 사실 이때는 굳이 RNN이라고 할 필요도 없겠죠 ㅎㅎ One to many : 작곡과 같은 예시를 드셨는데 잘 와닿는 예는 아니었습니다. Many to one : 영..

Forward propagation and backpropagation 지난 강의에서 볼 수 있었던 것처럼 RNN의 기본 구조는 위와 같습니다. 파란색 화살표는 순전파 방향을 나타내고 있고, 역전파는 정반대로 계산을 하면 되겠죠? Loss를 구하는 것도 별반 다르지 않습니다. 우리가 예측한 결과인 y hat과 실제 정답(label)인 y 사이의 오차를 구해줍니다. 그리고 이 오차를 각 예측에 대해서 모두 합쳐주면 됩니다. 출처: Coursera, Sequence Models, DeepLearning.AI

Why not a standard network? 지난 강의에서 살펴본 9개 단어로 구성된 예제를 떠올려 봅시다. 이를 이전까지 배웠던 딥러닝 모델에 적용하는 것은 크게 두 가지 문제점을 야기합니다. 첫째로 입/출력의 길이가 달라질 수 있습니다. 물론 둘이 동일한 경우도 존재하지만 이것이 보장되지는 않습니다. 번역 문장의 예시를 떠올려보면 이해하기 쉽습니다. 둘째로 다른 위치에서의 feature가 공유되지 않습니다. 이건 조금 추상적이긴 하지만, 만약 동일한 단어가 같은 문장 내에 반복되어 사용되는 경우 어떻게 처리해야 할까요? 기존에 학습한 feature를 이용할 수 없다는 문제가 발생하는 것입니다. 또한 10,000개 단어가 들어있는 vocab의 경우 10,000차원으로 표현되는데 이를 CNN 모델에..

(1) Why Sequence Models? Examples of sequence data Sequence data 역시 입력 x, 출력 y의 구조는 동일합니다. 이때 x는 반드시 sequence일 필요는 없습니다. nothing, 아무것도 아닐 수 있고 때로는 integer(정수)일수도 있습니다. (2) Notation Motivating example 위와 같은 문장이 입력으로 주어졌을 때 각 단어로 쪼개어서 구분합니다. 한 입력 내에서 몇 번 째의 위치인지 구분하는 것은 기호를 사용하고, 전체 예시 중에서 몇 번째에 해당하는지는 ( ) 기호를 사용합니다. 위 문장에서 이름을 나타내는 단어에 해당하면 1, 그렇지 않으면 0을 정답(label, y)으로 부여합니다. Representing wor..