관심있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇♂️ usechatgpt init success [Facebook AI] - sequence-to-sequence models 사전 학습을 위한 denoising autoencoder, BART - (1) corrupting text with an arbitrary noising function, (2) learning a model to reconstruct the original text 배경 당시 Masked Language Model (MLM)이 뛰어난 성능을 보이는 것으로 알려져 있었으나 특정 태스크에 한정된 이야기였음 Related Works GPT, ELMo BERT, UniLM ..
