LLM

최근(2023.06)에 나온 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success [Univ. of Washington] 여러 개의 reward 모델을 사용하고, 생성 문장 전체가 아닌 개별 문장에 피드백을 줘서 학습하는 것이 경제적이고 더 효율적이라고 주장하는 논문 배경 대중들에게도 AI가 친숙해지는데 가장 큰 공헌을 한 것은 RLHF(Reinforcement Learning with Human Feedback)이 아닐까 싶습니다. 이 덕분에 ChatGPT가 정말 ‘사람처럼’ 응답하고 품질이 우수한 답변을 내놓을 수 있게 되었으니까요. 그런데 본 논문에서는 기존의 RLHF 방식의 한계점을 지적하고 있습니다. 생성..

최근에 나온 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success [OpenAI] LLM이 아직까지 취약한 모습을 보이는 수학 문제를 잘 풀게 할 수 있도록 새로운 데이터셋을 구축하고, 적절한 학습 방식에 대해 연구한 논문. PRM800K 라는 데이터셋을 오픈 소스로 공개했으며 process supervision 방식이 효과적이라고 발표 최근의 경험과 주변 사람들의 이야기를 통해 LLM이 어지간해서는 수학 문제를 정상적으로 풀어내지 못한다는 것을 알게 되었습니다. 간단히 생각해보면 주어진 현재 상황에서 다음에 등장할 확률이 가장 높은 토큰을 예측하는 방식은 논리적인 이해를 바탕으로 하지 않는다는 것을 알 수 있죠...

최근에 나온 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success LLM 기반의 여러 챗봇들을 비교하여 어떤 성격유형을 지니는지 조사한 논문. ChatGPT의 성격은 MBTI 기준 ENFJ로 분석됨. 배경 LLM이 성장함에 따라 이로부터 단순히 도구적 효용성만 느끼는 것이 아니라 일종의 의사소통 창구로 여기는 경향성도 있다고 볼 수 있습니다. 애초에 ChatGPT가 유명해지기 한참 전부터 국내에는 ‘이루다’라는 서비스가 굉장히 큰 주목을 받았었는데 이런 서비스를 바라보는 것과 유사한 관점이라고 느껴집니다. 본 논문에서는 LLM 기반의 챗봇들을 대상으로 MBTI 관련 질문들을 하여 각 성격 유형을 파악한 연구 결과를..

최근에 나온 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success 영어를 중심으로 학습된 다국어 모델들과 달리 한국어에 집중 강화된 모델인 Polyglot Korean 모델을 소개. 배경 LLM이 엄청난 능력을 바탕으로 다양한 태스크를 굉장히 잘 처리함에도 불구하고 소수 언어들에 대해서는 약세를 보인다는 한계를 아직도 극복하지 못했습니다. 인공지능 모델은 데이터를 학습 재료로 사용하기 때문에, 학습 과정에서 해당 언어의 데이터가 적다면 당연히 좋은 성능을 발휘하기가 쉽지 않습니다. 따라서 multi-lingual 모델을 억지로 만드려고 하기보다는 특정 언어에 집중한 모델을 만드는 것이 효율적이라고 느끼는 듯합니다...

최근에 나온 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success 마인크래프트에서 LLM으로 오랫동안 생존할 수 있는 agent를 만든 논문. 기존에 비해 3배 이상의 아이템 종류 생성, 2배 이상의 탐색, 15배 이상의 테크 속도를 달성. 배경 최근 강화학습 분야에서 구체화된 agent를 생성하는 것에 LLM이 활용되는 경향이 로보틱스나 게임에 활용되고 있습니다. 그러나 agent가 지식을 쌓거나 업데이트하거나 전이하지 못해 오래 생존하지 못한다는 한계를 지니고 있었죠. 본 논문에서는 LLM으로 각 시점에 대해 적절한 태스크를 제안하고 - automatic curriculum 환경적 피드백을 통해 스킬을 연마하여..

이전에 OpenAI에서 게재한 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success [OpenAI] 고품질의 언어-수학 문제(8.5K개)로 구성된 데이터셋 구축. verifier를 학습시켜서 모델의 문제 풀이 능력을 향상 시킴. 배경 2021년 당시에도 LLM(Large Language Model)들의 능력에 대해 많은 관심이 있었는데, 이 모델들의 한계 중 대표적으로 꼽히는 것이 수학 문제 풀이 능력이었습니다. 정확히는 multi-step mathematical reasoning인데요, 다른 분야에서 뛰어난 퍼포먼스를 보여준 것과 달리 이 태스크에 대해서는 문제를 굉장히 쉽게 준다고 하더라도 잘 맞히지 못했죠. ..