LLM

관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️usechatgpt init success[Dartmouth College]- position bias를 정량적으로 평가할 수 있도록 돕는 프레임워크를 개발- MTBecnh와 DevBench의 22개 태스크에 대해 40개 모델로 답변을 생성하고, 이를 9개의 평가 모델로 평가하여 실험한 결과- position bias가 단순한 random variation이 아니라 특정한 모델 간 관계를 지닌다는 것을 입증 출처 : https://arxiv.org/abs/2406.07791v11. Introduction생성형 언어 모델의 성장은 이를 다양한 태스크에 활용하는 관행으로 이어졌습니다.LLM..

관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️usechatgpt init success[LG AI Research]- LG AI Research가 개발하여 공개한 7.8B 사이즈의 instruction-tuned model- 한글과 영어, 두 언어에 대한 proficiency가 높은 것을 강점으로 내세우고 있음- 허깅페이스 링크: https://huggingface.co/LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct 출처 : https://www.lgresearch.ai/data/upload/tech_report/en/EXAONE_3.0_Technical_Report.pdf1. Introduction제가 알기로..

관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️usechatgpt init success[Microsoft, BIGAI]- raw corpora로 continued pre-training을 수행하는 경우 도메인 지식은 늘어나지만 prompting 능력은 급격하게 감소함을 확인- raw corpora를 reading comprehension texts로 바꾸는 간단한 방법을 제안- 이는 어떤 종류의 pre-training corpora에도 적용 가능한 방식: 본 논문에서는 biomedicine, finace, law 분야에서 활용  출처 : https://arxiv.org/abs/2309.09530 Adapting Large Lang..

관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️usechatgpt init success[Google, Stanford University]- 모델이 태스크를 이해할 때 참고할 instruction 또는 natural language가 없는 경우, input-label mapping을 정보로 이용하는 Symbol Tuning을 제안- unseen in-context learning tasks에 대한 성능이 뛰어나고 underspecified prompts에 더욱 robust하게 됨 - 학습하지 않았던 algorithmic reasoning task에 뛰어난 성능 & flipped-labels 태스크 수행 능력이 복구됨 출처 : ht..

관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️Published as a main conference paper at EMNLP 2023. Code available at this URLusechatgpt init success[University of Washington, AI2, Meta AI]- long-form text generation의 factuality를 평가할 때, binary judgments(supported/unsupported) & huge cost of human evaluatoin 이슈가 존재- 생성 결과를 일련의 atomic facts로 쪼갠 뒤 각 fact를 평가한 결과를 합쳐 score를 구하는 방식..

관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️usechatgpt init success[KAIST]- 사람과 GPT-4의 판단에 근사하는 open-source evaluator LM, Prometheus 2를 공개- direct assesssment와 pair-wise ranking 형식을 둘 다 처리할 수 있음- 유저가 정의한 평가 기준을 반영출처 : https://arxiv.org/abs/2405.015351. Introduction생성형 언어 모델이 크게 주목을 받고 사용됨에 따라 이에 대한 평가를 어떻게 내려야 하는가에 대한 논의가 끊이지 않고 있습니다.예전 언어 모델들은 출력해야 하는 답이 명확히 존재하는 태스크를 수행했..