What is language modeling? 언어라는 것은 구성 요소에 따라 일정한 확률로 표현될 수 있습니다. 위 예시에서 apple, pear, salad는 잘 어울리는 조합이지만, pear 대신 pair가 들어가면 그렇지 않죠. 결국 각 문장이 등장할 확률, 혹은 다음에 어떤 단어가 등장할지에 대한 확률을 예측하는 것이 기본적인 내용입니다. Language modeling with an RNN 우선 영어 텍스트로 된 corpus(말뭉치)를 준비합니다. 이를 이용하여 tokenize합니다. tokenize란 corpus에 저장된 단어를 기준으로 문장 단위를 쪼개는 것을 뜻합니다. 문장 맨 뒤에는 모델의 입장에서 이 문장의 끝이라는 것을 인지할 수 있도록 토큰을 추가합니다. 만약 corpus(voc..
