관심있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇♂️ usechatgpt init success [Technology Innovation Institute, Abu Dhabi] - Falcon-7/40/180B 모델을 공개 - RefinedWeb 데이터셋 중 600B 토큰을 공개 (전체는 5T 토큰이라고 언급) - Falcon series에 대한 detailed research 1. Introduction 언어 모델의 폭발적인 성장 및 발전은 transformer 아키텍쳐의 scability에 근간을 두고 있습니다. 본 논문에서는 이를 세 가지 관점(axes)에서 살펴보고 있습니다. Performance Scability: 사전학습에 들어가..
