T5

관심있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success [LK Lab, KAIST] - prompt를 LM의 파라미터에 주입하는 방식, Prompt Injection (PI)를 제안 - novel distillation approach, Pseudo-INput Generation (PING)를 제안 - prompt를 input에 prepend하는 기존 방식 대비 우수한 성능 달성 배경 input에 prompt를 attach함으로써(prefixes) LM을 특정 태스크에 맞게 조정하는 것이 가능 그러나 이처럼 prompt와 input을 단순 concatenate하는 prompt-dependent 방식은..

관심있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ [BigScience] - 사전학습된 encoder-decoder 모델 T5를 explicit multi-task learning으로 fine-tuning한 모델, T0 - 다양한 태스크에 대한 zero-shot 성능 일반화 & prompt를 구성하는 word의 다양성 확보 (robustness) 배경 LLM이 새로운 태스크에 대해 뛰어난 zero-shot 성능을 보이는 것이 확인됨 그러나 학습 때 접하지 않았던 태스크에 대해 좋은 성능을 보이기 위해선 1) 충분히 큰 사이즈의 모델이 필요하고 2) prompt를 구성하는 단어에 영향을 받지 않게 만들어야 함 지금까지는 multitask ..