관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇♂️ usechatgpt init success - LLM이 태스크에 내재된 reasoning structure를 스스로 찾아가도록 하는 프레임워크 - LLMs가 multiple atomic reasoning module을 골라야 하는 상황에 적용 가능한 방식 - 이 방식이 다양한 모델 계통에 적용 가능한 것으로 확인 (PaLM 2-L, GPT-4, Llama2) 1. Introduction 지금까지 LLM의 추론(Reasoning) 능력을 향상시키기 위해 여러 시도들이 있었지만, 개인적으로는 하나의 큰 과정을 작은 것 여러 개로 쪼개고 각각을 처리하는 방식이 가장 유효했다고 생각합니다. (..
관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇♂️ usechatgpt init success [The University of Hong Kong, Huawei Noah’s Ark Lab] - LLM이 능력을 스스로 발전시킬 수 있는 learning framework, SELF (Self-Evolution with Language Feedback)을 제시 - 숫자가 아닌 언어(자연어) 기반의 피드백을 활용한다는 것이 특징 1. Introduction 뛰어난 능력을 지닌 다양한 LLM들이 소개되어 왔지만, 아직까지 LLM이 스스로 발전(진화)하는 것과 관련된 연구가 많지는 않습니다. 사실 그런 게 가능한 프레임워크가 제시된다는 것은 사람들..
관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇♂️ usechatgpt init success [University of Science and Technology of China, Google Research] - Corrective Retrieval Augmented Generation (CRAG)를 제안하여 retrieval이 잘못되었을 때의 문제를 해결 - lightweight retrieval evaluator(T5-large)를 이용하여 retrieved documents에 대한 confidence score를 반환 - large-scale의 web search를 extension으로 활용 - decompose-then-reco..
관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇♂️ usechatgpt init success [Google Research, Google DeepMind] - Open-domain question answering에서 복잡한 Chain-of-Thought (CoT) 추론을 자동적으로 평가할 수 있는 verifiers를 개발 - 이 벤치마크를 REVEAL: Reasoning Verification Evaluation으로 명명 1. Introduction 인공지능 모델이 어떤 질문에 답변할 때 reasoning step을 추가하도록 하면 그 답변의 정확도가 크게 향상된다는 것이 알려지게 되면서 해당 연구가 활발히 이뤄지고 있습니다. 대표..
관심있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇♂️ usechatgpt init success [University of Southern California] - PINTO: prompt-based learning을 통해 rationalize하고, counterfactual regularization을 통해 faithfully reason하는 LM pipleine - 중간 사이즈의 LM을 frozen하고 rationale을 생성할 수 있도록 prompting → 생성된 rationale을 컨텍스트로 이해하고 fine-tuning 1. Introduction 굉장히 재밌는 표현인 것 같은데, reasoning tasks에 대해서 LM의 파라..
관심 있는 NLP 논문을 읽어보고 ChatGPT를 이용하여 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇♂️ usechatgpt init success [ByteDance Research] - CoT 데이터에 SFT를 적용할 때, 각 질문마다 존재할 수 있는 여러 개의 reasoning paths를 활용하는 방식 - 수학 문제를 푸는 세 개의 벤치마크(GSM8K, MathQA, SVAMP)를 통해 뛰어난 generalizability를 확인 - SFT로 warmup한 이후 PPO를 적용하는 방식인 Reinforced Fine-Tuning을 제안 - 다양한 inference-tim strategies와 결합 가능한 방법론 1. Introduction 지금까지 수학 문제를 푸는 ..
