Meta AI

안녕하세요, chanmuzi입니다. 오늘 새벽 Meta에서 Llama 3 모델을 공개했습니다! 커뮤니티를 보니 소수의 사람들은 이미 이 모델을 사용하고 있었다고 하더군요. 전작에 비해 훨씬 잘한다고 알려진 이 모델은 벌써 허깅페이스에도 업로드 되었습니다. 허깅페이스에서는 블로그 글도 항상 깔끔하고 상세하게 잘 써주는데요, 오늘은 llama 3 관련 내용이 저도 궁금해서 ChatGPT에게 번역을 의뢰하여 얻은 내용을 공유하고자 합니다! (경쟁자의 탄생을 직시하게 만들어버리는..😅) 참고로 메타의 블로그는 이 링크를, 허깅페이스의 블로그 원문은 이 링크를, 그리고 허깅페이스의 모델 카드는 이 링크를 통해 확인 가능합니다. Welcome Llama 3 - Meta's new open LLM Introducti..

최근(2023.09)에 나온 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success [Meta AI] LLM의 hallucination을 줄이기 위한 방법으로 Chain-of-Verification, CoVe를 제안. CoVe는 네 개의 단계로 구성됨. 배경 LLM이 사실이 아닌 것을 마치 사실처럼 표현하는 현상인 hallucination 문제가 심각하다는 것은 이미 잘 알려져 있습니다. 이 현상을 최소화하고자 하는 연구들도 많이 이뤄지고 있구요. 이러한 시도들을 크게 'training-time correction', 'generation-time correction', 'via augmentation'으로 구분할 ..

최근(2023.08)에 나온 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success [Meta AI] LLAMA 2를 기반으로 학습된 CODE LLAMA 모델들을 공개. CODE LLAMA, CODE LLAMA - PYTHON, CODE LLAMA -INSTRUCT 세 버전. 각각 7B, 13B, 34B 파라미터 사이즈로 공개. 배경 거대언어모델이 사용한 학습 데이터셋에는 영어 다음으로 많은 비중을 차지하고 있는 것이 python이라는 말이 있습니다. 그만큼 프로그래밍 언어를 학습한 것이 모델의 일반적인 성능 향상에 도움이 된다는 것이 잘 알려져 있습니다. 이에 따라 프로그래밍 언어로 이뤄진 데이터셋을 학습하여 일반..

최근(2023.04)에 나온 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success [Yann LeCun, Meta AI (FAIR)] 이미지로부터 self-supervised learning을 통해 Joint-Embedding Predictive Architecture(I-JEPA) 기법을 구현. hand-crafted 이미지 증강 없이 우수한 semantic 이미지 representation을 획득. 배경 기존의 연구들은 invariance-based 혹은 generative 관련 방법론들입니다. 이러한 방법론들은 특정 downstream task에 대해서는 치명적일 수 있는 강한 편향을 갖게 되는 단점을 갖고 ..