LLM Evaluation

관심있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success [FAIR, Meta, HuggingFace, AutoGPT, GenAI] - General AI Assistant의 성능을 평가하기 위해 real-word question으로 구성된 벤치마크, GAIA 공개 - 사람은 풀기 쉽지만 인공지능 모델은 풀기 어려운 466개 (그중 166개만 annotation 공개) Q&A pair - 무려 Yann LeCun이 저자에 포함된 논문 1. Introduction LLM은 general tasks를 처리하는 우수한 능력으로 주목을 받았으나 이를 평가하는 시스템은 아직까지 open problem 최근의 벤..

관심있는 NLP 논문을 읽어보고 간단히 정리했습니다. (Language & Knowledge Lab의 Retreival 관련)혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️[KAIST, Naver AI, University of Washington, MIT]- GPT-4의 평가 수준에 준하는 완전한 오픈소스 LLM, Prometheus - customized score rubric 기반으로 long-form text를 평가할 수 있는 13B 사이즈의 평가자 LLM, Prometheus- 1K score rubrics, 20K instructions, 100K responses로 구성된 데이터셋, Feedback Collection배경최근 LLM을 evaluator로 사용하고자 하는 시도..