분류 전체보기

관심있는 NLP 논문을 읽어보고 ChatGPT를 이용하여 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success Abstract 대규모 언어 모델(Large Language Models, LLMs)은 다양한 추론 작업에서 뛰어난 성능을 보이지만, 많은 매개변수와 접근성 문제로 실제 적용에 어려움이 있음. LLM에서 생성된 사고 과정 체인을 활용하여 작은 모델로 추론 능력을 정제하는 방법이 유망함. 복잡한 수학 문제 등에서 LLM이 잘못된 추론 체인을 생성할 수 있음. 기존 연구는 정확한 답변을 포함한 긍정적 데이터만을 이용하고, 잘못된 답변을 포함한 데이터는 제외함. 본 연구에서는 부정적 데이터의 중요성을 제시하고, 긍정적 및 부정적 샘플..

관심있는 NLP 논문을 읽어보고 ChatGPT를 이용하여 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success 0. Abstract [Upstage AI] - SOLAR 10.7B 소개: 107억 개의 파라미터를 가진 대규모 언어 모델(Large Language Model, LLM). - 주요 특징: 다양한 자연어 처리(Natural Language Processing, NLP) 작업에서 우수한 성능을 보임. - Depth Up-Scaling(DUS) 방법 제시: LLM의 효율적인 확장을 위한 깊이 기반 스케일링과 지속적인 사전 훈련을 포함. - DUS의 장점: 기존 대규모 LLM 스케일링 방법들과 달리 복잡한 변경 없이 효율적인 훈련 ..

블로그에 꾸준히 글을 올리는 사람으로서, 2023년이 가기 전에 회고록을 꼭 쓰고 싶다는 생각을 했었어요. 이력서나 포트폴리오를 준비할 때를 제외하면 스스로를 돌아본 시간이 없었기 때문이죠. 처음에는 왜 굳이 회고글을 쓰는가에 대한 의문이 참 많았는데요(지금도 그렇지만), 막연하게는 스스로를 칭찬 또는 격려해주고 싶은 것 아닐까 생각했었습니다. 성향에 따라 저같은 사람들은 채찍질하기 바쁘겠지만요. 어쨌든 오늘은 공부할 시간을 일부 포기하면서라도 제 1년 간의 행보를 돌아보고 내년에는 어느 정도의 노력을 어디에 쏟아 부어야 할지 가늠해보도록 하겠습니다. 음, 우선 올해의 마지막인 오늘을 기준으로 제 상황을 정리해보자면... 저는 대학원 인턴에 합격해서 오늘부(2023.12.31)로 퇴사하게 되었구요, 해당..

관심있는 NLP 논문을 읽어보고 ChatGPT를 이용하여 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success Abstract 대규모 언어 모델(Large Language Models, LLMs)은 양적 추론부터 자연어 이해에 이르기까지 복잡한 작업을 수행하는 능력을 보여주었으나, 때때로 사실이 아닌 설득력 있는 진술(환각)을 만들어내는 문제가 있음. 현재 대규모 모델의 과학적 발견에서의 사용을 제한하는 이러한 문제를 해결하기 위해, 사전 훈련된 LLM과 체계적인 평가자를 결합한 진화적 절차인 'FunSearch'를 소개함. FunSearch는 중요한 문제에서 최고의 결과를 뛰어넘는 효과를 입증하며, 대규모 LLM 기반 접근법의 한계를 ..

관심있는 NLP 논문을 읽어보고 ChatGPT를 이용하여 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ Abstract [NLP Group, Fudan University] usechatgpt init success 목적: 대규모 언어 모델(Large Language Models, LLMs)의 인간 지시 사항과의 정렬 및 다운스트림 작업에서의 성능 향상을 위한 중요한 단계로서, 감독된 미세 조정(Supervised Fine-Tuning, SFT)의 중요성을 강조. 문제점: 더 넓은 범위의 다운스트림 작업에 모델을 정렬하거나 특정 작업의 성능을 크게 향상시키려는 경우, 미세 조정 데이터의 대규모 증가가 필요해지는데, 이는 LLM에서 저장된 세계 지식을 잊어버리는 문제(wor..

관심있는 NLP 논문을 읽어보고 ChatGPT를 이용하여 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ Abstract usechatgpt init success [Google Research, Google DeepMind] 주요 내용: 복잡한 자연어 질문에 답하기 위해 다단계 추론과 외부 정보 통합이 필요합니다. 이를 위해 대규모 언어 모델(LLM)과 지식 검색을 결합한 시스템이 개발되었으나, 이들 시스템은 다양한 실패 사례를 겪고 있습니다. 문제점: 이러한 시스템들은 외부 지식과의 상호작용이 비차별화(non-differentiable)되기 때문에 직접 end-to-end로 훈련시켜 실패를 수정할 수 없습니다. 해결 방안: 이를 해결하기 위해 외부 지식에 대해 추론하고 ..