RNN unit 기존 RNN의 구조를 시각화하면 위와 같습니다. 이전 층의 a과 현재 층의 입력 x에 가중치를 곱하고 편향을 더한 것에 활성화 함수를 적용한 것이 a가 됩니다. GRU (simplified) 마찬가지로 GRU의 구조를 시각화한 것은 위와 같습니다. GRU에서는 cell의 개념을 사용하고 있기 때문에 RNN의 a 기호 대신 c를 사용합니다. 이전 층의 결과물 c과 현재 층의 입력 x 둘을 계산한 것이 GRU에서는 tilda c와 gamma u가 됩니다. 여기서 u는 update의 u라고 생각해도 좋습니다. tilda c는 tan h를, gamma u는 sigmoid를 활성화 함수로 사용합니다. 이제 둘을 곱하여 이전 층의 cell을 기억할지 말지 결정합니다. 예를 들어 gamma = 0인 ..
