관심있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇♂️usechatgpt init success[Allen Institue for AI]- a lightweight decoding-time algorithm, proxy-tuning을 제안- output vocabulary에 대한 prediction만을 활용하는 테크닉- 사이즈가 작은 두 모델의 확률 분포차를 큰 베이스 모델에 반영하는 방식으로, 본 논문에서는 Llama 패밀리 모델들을 사용 1. IntroductionLLM을 직접 학습시키는 것은 너무나도 많은 비용을 필요로 하기도 하고, 사실 요즘엔 애초에 접근 자체가 불가능한 경우가 많습니다.회사 이름값을 못하는 OpenAI의 GPT-4..
