Retrieval

관심있는 NLP 논문을 읽어보고 간단히 정리했습니다. (Language & Knowledge Lab의 Retreival 관련) 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ [LK Lab] - Language Model은 블랙박스 취급하고 tuneable retrieval model로 증강 효과를 누리는 Retrieval-Augmented Language Modeling Framework, REPLUG - frozen 블랙박스 LM에 retrieved documents를 prepend하는 방식 - LM은 retrieval model을 supervise하는 데 활용될 수 있음 LLM은 뛰어난 능력을 가지고 있지만 hallucination을 보이거나 long tail에 해당하는 knowle..

관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success [KAIST AI] - multi-hop 태스크에서 기존의 bi-encoder 방식이 지닌 한계를 입증 - retrieval target이 되는 text sequence 전체를 생성함으로써 multi-hop retrieval 태스크를 수행 - GPU memory & Storage footprint 효율성이 높음 배경 text retrieval 문제는 지금까지 주로 query와 관련성이 높은 paragraph 또는 document 하나를 찾는 것에 집중해왔음 이를 위해서 query와 retrieval sequence 둘 다 공통의 vector s..

관심있는 NLP 논문을 읽어보고 간단히 정리했습니다. (Language & Knowledge Lab의 Retreival 관련) 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ [Evaluation] Exploring the Benfits of Training Expert Language Models over Instruction Tuning (2023.02) [Minjoon Seo] - 단 하나의 task에 대해 fine-tuned된 expert LM이 300개 이상의 task로 학습된 MT (multitask-prompted fine-tuning) LM을 outperform - distributed approach의 장점: avoiding negative task transfer, co..