rnn

Forward propagation and backpropagation 지난 강의에서 볼 수 있었던 것처럼 RNN의 기본 구조는 위와 같습니다. 파란색 화살표는 순전파 방향을 나타내고 있고, 역전파는 정반대로 계산을 하면 되겠죠? Loss를 구하는 것도 별반 다르지 않습니다. 우리가 예측한 결과인 y hat과 실제 정답(label)인 y 사이의 오차를 구해줍니다. 그리고 이 오차를 각 예측에 대해서 모두 합쳐주면 됩니다. 출처: Coursera, Sequence Models, DeepLearning.AI

Why not a standard network? 지난 강의에서 살펴본 9개 단어로 구성된 예제를 떠올려 봅시다. 이를 이전까지 배웠던 딥러닝 모델에 적용하는 것은 크게 두 가지 문제점을 야기합니다. 첫째로 입/출력의 길이가 달라질 수 있습니다. 물론 둘이 동일한 경우도 존재하지만 이것이 보장되지는 않습니다. 번역 문장의 예시를 떠올려보면 이해하기 쉽습니다. 둘째로 다른 위치에서의 feature가 공유되지 않습니다. 이건 조금 추상적이긴 하지만, 만약 동일한 단어가 같은 문장 내에 반복되어 사용되는 경우 어떻게 처리해야 할까요? 기존에 학습한 feature를 이용할 수 없다는 문제가 발생하는 것입니다. 또한 10,000개 단어가 들어있는 vocab의 경우 10,000차원으로 표현되는데 이를 CNN 모델에..