분류 전체보기

관심있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success [LK Lab, KAIST] - LLM에게 negated prompts를 제공하면 모델 사이즈에 성능이 반비례하는 inverse scaling law를 보임 - (1) pretrained LM (2) instruct (3) few shot (4) fine-tuned 비교 배경 LM이 다양한 downstream tasks에 대해 prompt를 통해 fine-tuning되어 unseen tasks에 대한 performance가 뛰어나다는 것이 알려짐 LM은 뛰어난 능력을 바탕으로 마치 사람의 뇌처럼 여러 로봇을 조작하는 등 중심 역할로 자리잡는 경우..

관심있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success [Tencent AI Lab] - noisy & irrelevant document, 그리고 unknown scenarios에 대한 RALM의 robustness를 개선한 approach, Chain-of-Noting (CoN) - ChatGPT를 사용하여 training data 생성 후 LLaMA-2 7B 모델 학습 배경 LLM의 능력을 활용하는 방법으로 외부 knowledge source를 이용하는 RAG 방식이 도입. Retrieval-Augmented Language Models (RALMs) Information Retrieval (I..

관심있는 최신 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success [Singapore University] - valid & invalid reasoning demonstrations을 함께 제공하여 reasoning mistakes를 줄이는 approach, Contrastive Chain-of-Thought - contrastive demonstration을 자동적으로 구축하는 방법을 제시 배경 LLM과 관련하여 모델 사이즈를 키우는 것만으로는 complex reasoning tasks에 대한 좋은 일반화 성능을 기대하기 어려움 invalid reasoning demonstration을 포함하는 것이 ..

관심있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success [Facebook AI] - sequence-to-sequence models 사전 학습을 위한 denoising autoencoder, BART - (1) corrupting text with an arbitrary noising function, (2) learning a model to reconstruct the original text 배경 당시 Masked Language Model (MLM)이 뛰어난 성능을 보이는 것으로 알려져 있었으나 특정 태스크에 한정된 이야기였음 Related Works GPT, ELMo BERT, UniLM ..

오랜만에 재밌는 주제의 세션이 많은 행사를 다녀왔습니다!! 이유는 모르겠지만 최근 AI 관련 행사가 엄~~청나게 많이 몰려 있었는데 (삼성, 구글 등등).. 죄다 평일이라 딱 하루만 잘 골라서 가야 하는 상황이었습니다. (매일 참석하고 싶었지만 그건 제 마음이고.. 대표님의 마음은 조금 다를 수 있기 때문에.. 😭) 그중에서 다양한 기업들이 자신의 LLM 관련 서비스나 개발 관련 내용을 다루는 SK Tech Summit 2023의 2일차를 다녀오기로 결정했습니다. 11.16 (목) - 11.17 (금) 양일 간 진행되는 행사로, 1일차에는 SK의 자체 LLM인 에이닷 관련 소식이 주를 이루고 있었기 때문에 더 다양한 내용을 다루는 2일차로 마음을 정했죠. (🔗 세션 리스트 링크) 코엑스에서 행사가 진행되..

관심있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success [Microsoft Research, University of illinois] - multiple personas로 multi-turn self-collaboration을 통해 LLM을 cognitive synergist으로 변환, Solo Performance Prompting (SPP) - SPP를 통해 internal knowledge acquisition 능력을 향상시키고, hallucination을 줄이며, reasoning capabilities를 유지 배경 LLM은 여전히 knowledge-intensive & reasoning-i..