![]()
관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇♂️usechatgpt init success[Appier AI Research, National Taiwan University]- LLM에게 JSON, XML과 같은 structured format을 지키도록 강제하는 경우, reasoning task에서 모델 성능이 하락한다.- 하지만 분류 태스크에서는 오히려 성능이 향상될 수 있다.- 즉, 어떤 형식을 강제하는 것이 모델 성능에 영향을 주는지는 task by task로 다르다. 출처 : https://arxiv.org/abs/2408.024421. IntroductionLLM은 뛰어난 퍼포먼스를 보이고 있음에도 아직까지 실제 app..
![]()
관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇♂️usechatgpt init success[NC Research]- LLM이 생성한 결과를 평가할 때 존재하는 다양한 bias를 정의 (6개)- EvalBiasBench를 제안. 6개 종류의 bias에 대한 test case를 직접 제작함.- OffsetBias 공개. bias를 낮추는 데 기여할 수 있는 학습용 선호 데이터셋 출처 : https://arxiv.org/abs/2407.06551 1. Introduction최근 LLM이 생성한 텍스트를 LLM으로 평가하는 경우가 굉장히 많아졌습니다.LLM으로 생성하는 텍스트는 종류나 범위가 엄청나게 다양한데 이를 사람이 직접 다 평가하기엔..
![]()
관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇♂️usechatgpt init success[UC Berkeley, Stanford University]- 운영체제에서 가상메모리와 페이징 기법에 착안한 PagedAttention을 제안- 이를 기반으로 하는 vLLM을 개발했는데, (1) KV 캐시 메모리의 낭비가 거의 없고 (2) 불필요한 메모리 사용을 최소화 한다는 특징이 있음 출처 : https://arxiv.org/abs/2309.06180깃허브 : https://github.com/vllm-project/vllm1. Introduction최근 가장 감명 깊게 읽은 PagedAttention에 대해 간단히 리뷰를 해보려고 합니다...
![]()
관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇♂️usechatgpt init success[Dartmouth College]- position bias를 정량적으로 평가할 수 있도록 돕는 프레임워크를 개발- MTBecnh와 DevBench의 22개 태스크에 대해 40개 모델로 답변을 생성하고, 이를 9개의 평가 모델로 평가하여 실험한 결과- position bias가 단순한 random variation이 아니라 특정한 모델 간 관계를 지닌다는 것을 입증 출처 : https://arxiv.org/abs/2406.07791v11. Introduction생성형 언어 모델의 성장은 이를 다양한 태스크에 활용하는 관행으로 이어졌습니다.LLM..
![]()
관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇♂️usechatgpt init success[LG AI Research]- LG AI Research가 개발하여 공개한 7.8B 사이즈의 instruction-tuned model- 한글과 영어, 두 언어에 대한 proficiency가 높은 것을 강점으로 내세우고 있음- 허깅페이스 링크: https://huggingface.co/LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct 출처 : https://www.lgresearch.ai/data/upload/tech_report/en/EXAONE_3.0_Technical_Report.pdf1. Introduction제가 알기로..
![]()
관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇♂️usechatgpt init success[Microsoft, BIGAI]- raw corpora로 continued pre-training을 수행하는 경우 도메인 지식은 늘어나지만 prompting 능력은 급격하게 감소함을 확인- raw corpora를 reading comprehension texts로 바꾸는 간단한 방법을 제안- 이는 어떤 종류의 pre-training corpora에도 적용 가능한 방식: 본 논문에서는 biomedicine, finace, law 분야에서 활용 출처 : https://arxiv.org/abs/2309.09530 Adapting Large Lang..
