분류 전체보기

최근(2023.06)에 나온 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success [Meta] 기존의 parameter-efficient fine-tuning(PEFT) 방식들을 집대성하여 만든 fine-tuning 기법, Generalized LoRA(GLoRA) large-scale deep neural network는 지난 몇 년 간 눈부신 발전을 이룩했습니다. 특히 transformer 아키텍쳐를 기반으로 NLP 분야가 엄청나게 빠른 성장을 이룬 것에 영향을 받아, 이 아키텍쳐는 이미지 분야로까지 전파되어 기존의 연구 성과들을 다 엎을 수준의 영향을 주었죠. 이는 인공지능 모델들의 사이즈가 굉장히 커지는, ..

최근(2023.06)에 나온 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success [Meta AI] LLM이 상관 관계로부터 인과 추론을 할 수 있을까?에 대한 답변은 No. 관계를 나타내는 그래프 이론을 통해 LLM이 지닌 추론 능력의 한계를 드러낸 논문. causality, 인과성을 지녔는지를 확인하는 방법은 크게 두 가지로 나뉩니다. 경험적 지식을 바탕으로 추론하고 있는가를 확인, 혹은 순수한 인과 추론 능력 확인입니다. 지금까지의 연구들은 전자에 집중되어 있습니다. 다르게 말하자면 여러 LLM들이 실제로 추론 능력을 갖추고 있는지에 대해서는 큰 관심이 없고, 대신 학습한 확률 분포를 기반으로 다음에 올 토큰..

최근에 나온 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success [Microsoft Research] 단순히 Large Foundation Models(LFMs)의 결론을 모방하지 않고, LFM의 추론 과정(reasoning process)을 배워야 성능 향상으로 이어진다. 그러나 아직까지도 LFM의 능력을 제대로 follow-up하지는 못한다(GPT-4의 벽). ChatGPT가 뜨거운 관심을 받으면서 한편으로는 모델 경량화에 대한 관심도 엄청나게 커졌습니다. 지금도 마찬가지인게 GPT나 BARD 등 사람들에게 잘 알려진 챗봇의 기반이 되는 모델들의 사이즈가 너무 커져서 개인이 운용하기가 너무 힘들어졌기 때문입니..

최근에 나온 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success [Google Research] LM이 코드를 생성하여 풀이하는 방식으로 VQA 태스크를 처리 기존에도 어떤 이미지, 그리고 이와 관련된 Question Answering 태스크는 꾸준히 발전하고 있었습니다. 하지만 여러 이미지에 대해 annotation을 수행하여 이미지-텍스트 pair를 만드는 것은 분명히 많은 자원을 필요로 하는 일입니다. 본 논문에서는 굉장히 재밌게도, 이 태스크를 LM을 통해 해결합니다. LM이 주어진 문제를 (필요하다면) 여러 작은 문제로 쪼개고, 각 문제를 처리하기 위한 코드를 작성하여 이를 실행시킨 뒤 결과를 취합하는 ..

최근(2023.06)에 나온 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success [Univ. of Washington] 여러 개의 reward 모델을 사용하고, 생성 문장 전체가 아닌 개별 문장에 피드백을 줘서 학습하는 것이 경제적이고 더 효율적이라고 주장하는 논문 배경 대중들에게도 AI가 친숙해지는데 가장 큰 공헌을 한 것은 RLHF(Reinforcement Learning with Human Feedback)이 아닐까 싶습니다. 이 덕분에 ChatGPT가 정말 ‘사람처럼’ 응답하고 품질이 우수한 답변을 내놓을 수 있게 되었으니까요. 그런데 본 논문에서는 기존의 RLHF 방식의 한계점을 지적하고 있습니다. 생성..

오래전(2019.04)에 나온 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success [Cornell Univ.] contextual embedding을 이용하여 토큰 간 유사도를 계산하여 문장 생성을 평가하는 metric으로 BERT를 사용. 배경 기존에 언어 생성을 평가하는 지표는 이미 여러가지가 존재했지만 표면적인 유사도를 측정하는 수준에 그치는 것이 많았다고 합니다. 대표적인 metric으로 n-gram 기반의 것들을 생각해보면, 단순히 글자 생김새가 다르다는 이유로 낮은 유사도 스코어를 갖게 될 것임을 알 수 있습니다. 하지만 실제로는 동일하게 생긴 단어가 아니라고 하더라도 유사한 의미를 지닐 수가 있죠(즉..