llama

관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success [The University of Hong Kong, Huawei Noah’s Ark Lab] - LLM이 능력을 스스로 발전시킬 수 있는 learning framework, SELF (Self-Evolution with Language Feedback)을 제시 - 숫자가 아닌 언어(자연어) 기반의 피드백을 활용한다는 것이 특징 1. Introduction 뛰어난 능력을 지닌 다양한 LLM들이 소개되어 왔지만, 아직까지 LLM이 스스로 발전(진화)하는 것과 관련된 연구가 많지는 않습니다. 사실 그런 게 가능한 프레임워크가 제시된다는 것은 사람들..

관심있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success [Allen Institue for AI] - a lightweight decoding-time algorithm, proxy-tuning을 제안 - output vocabulary에 대한 prediction만을 활용하는 테크닉 - 사이즈가 작은 두 모델의 확률 분포차를 큰 베이스 모델에 반영하는 방식으로, 본 논문에서는 Llama 패밀리 모델들을 사용 1. Introduction LLM을 직접 학습시키는 것은 너무나도 많은 비용을 필요로 하기도 하고, 사실 요즘엔 애초에 접근 자체가 불가능한 경우가 많습니다. 회사 이름값을 못하는 OpenAI의..

관심있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success [Fudan University, Shanghai Artificial Intelligence Laboratory] - AI assistant가 자신이 답변하지 못할 질문에 대해서는 '모른다'고 답변하는 것이 hallucination을 줄이는 데 중요함 - model-specific한 "I don't know" (Idk) 데이터셋을 구축하고 이를 활용한 것이 유의미한 결과로 이어짐을 입증 1. Introduction LLM은 다양한 태스크를 잘 처리할 수 있다는 강점을 바탕으로 helpfulness를 제대로 발휘하고 있습니다. 그러나 halluci..

관심있는 NLP 논문을 읽어보고 ChatGPT를 이용하여 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success [Meta, NYU] - LLM-as-a-Judge prompting을 이용하여 스스로 반환한 reward로 학습하는 Self-Rewarding Language Models를 제안 - DPO를 이용하여 반복 학습을 진행하는 동안 instruction following & providing high-quality rewards 능력이 둘 다 향상됨 - Llama 2 70B 모델을 3 iterations로 학습하여 AlapacaEavl 2.0 리더보드에서 우수한 성능을 보임 1. Introduction LLM을 사람의 선호에 맞게 ..

관심있는 NLP 논문을 읽어보고 정리해보았습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success [StatNLP Research Group] - 약 1 trillion tokens을 3 epoch 동안 사전학습한 compact 1.1B 언어 모델 - 기존 open-source 언어 모델들(OPT-1.3B, Pythia-1.4B)을 능가하는 성능 1. Introduction 최근 NLP 분야는 언어 모델의 사이즈를 scaling up 하는 방식으로 빠르게 발전하고 있음 이에 따라 한정된 자원을 효율적으로 활용하여 최적의 모델 사이즈와 이에 할당해야 하는 학습 데이터의 양을 정하는 것이 중요한 이슈로 떠오르게 됨 초반에는 모델의 사이즈를 무식하게(..

관심있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success [Gen AI at Meta] - Llama2-7b 모델을 자체 수집된 데이터셋에 대해 instruction-tune한 Llama Guard 모델 공개 - OpenAI Moderation Evaluation, ToxicChat과 같은 기존 벤치마크에서도 우수한 성능 - Llama Guard는 multi-class classification과 generating binary decision score를 수행하는 언어 모델 1. Introduction LLM이 급격하게 성장함에 따라 conversational AI agent에 대한 관심도 엄청나게 ..