![]()
관심있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇♂️ usechatgpt init success [Facebook AI] - sequence-to-sequence models 사전 학습을 위한 denoising autoencoder, BART - (1) corrupting text with an arbitrary noising function, (2) learning a model to reconstruct the original text 배경 당시 Masked Language Model (MLM)이 뛰어난 성능을 보이는 것으로 알려져 있었으나 특정 태스크에 한정된 이야기였음 Related Works GPT, ELMo BERT, UniLM ..
![]()
관심있는 NLP 논문을 읽어보고 간단히 정리했습니다. (Language & Knowledge Lab의 Retreival 관련) 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇♂️ [Facebook AI, University of Washington, Princeton University] - dense representation을 사용하여 효과적으로 implemented될 수 있다. - 적은 숫자의 question과 passage로 학습된 embedding과 simple dual-encoder framework 배경 Open-Domain Question Answering (ODQA) 문제를 풀기 위해 (1) context retriever (2) machine reader를 사용하는 two-..
![]()
관심있는 NLP 논문을 읽어보고 간단히 정리했습니다. (Language & Knowledge Lab의 Retreival 관련) 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇♂️ [RAG] Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2021.04) [Facebook AI Research] - parametric memory는 사전학습된 seq2seq, non-parametric momory는 위키피디아의 dense vector index - 하나의 retrieved passage로 sequence 전체를 생성하는 방식 vs 각 토큰별로 다른 retrieved passage를 참고하는 방식 배경 사전학습된 Neural..
