Recurrent Neural Networks(7) : Sampling Novel Sequences

Sampling a sequence from a trained RNN

• 이전 강의에서 배운 것처럼 RNN 모델이 학습을 마치고 나면 sampling을 해봅니다.
  • a<0>는 0으로 초기화된 상태에서 시작하면, 각 토큰들을 기준으로 다음에 등장할 확률이 가장 높은 토큰 하나를 예측하게 됩니다.
  • 이때 <UNK> 토큰이 등장하지 않게 하려면 resampling 하게 하는 등의 조치를 취할 수 있습니다.

 

Character-level language model

• 지금까지 살펴본 것은 단어 단위의 RNN이었지만, 이 토큰을 글자 단위로 만들 수도 있습니다.
  • 이때는 소문자, 대문자, 공백, 특수 기호 등등 다양한 문자가 vocab에 포함될 수 있겠죠.
  • 하지만 모든 글자 단위로 연산을 하게 되면 비용이 비싸다는 단점이 있습니다.

 

Sequence generation

 

 

출처: Coursera, Sequence Models, DeepLearning.AI