Paper Review

관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️usechatgpt init success [Princeton Univ., UC San Diego, Stanford Univ., USC, JHU]- agent skill이 언제 도움이 되고, 왜 작동하고, 어디서 실패하는지를 controlled experiment + paired trajectory analysis로 분석- 동일한 trajectory로 만든 Workflow Memory 대비 Skill이 6.06 point 높은 성공률을 기록. skill은 지식을 주입(knowledge injection, 4.5%)하는 게 아니라 행동을 고정(procedural anchoring, 65...

관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️usechatgpt init success [Onyx, UC Berkeley]- Slack, Gmail, Jira, Confluence 등 9개 enterprise source type으로 구성된 약 50만 개 문서의 synthetic corpus와 10개 카테고리 500개 질문으로 이루어진 RAG 벤치마크 EnterpriseRAG-Bench 공개- human-in-the-loop scaffolding 기반의 generation framework로 cross-document coherence를 유지하면서 misfiled documents, near-duplicates, conflicti..

관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️[Anthropic, Truthful AI, Warsaw Univ. of Technology, Oxford, ARC, UC Berkeley]- teacher 모델의 behavioural trait (동물 선호나 misalignment 등)이 의미적으로 전혀 관련 없는 데이터 (숫자 시퀀스 등)를 통해 student 모델에게 전파되는 subliminal learning 현상을 발견- 이 현상은 teacher와 student가 동일한 (혹은 behaviourally matched) base model을 공유할 때만 발생- 단 한 번의 gradient descent step이 student를..

관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️usechatgpt init success [Sakana AI] - hypernetwork를 활용해 natural language description만으로 LoRA adapter를 single forward pass에 생성하는 Text-to-LoRA (T2L) - T2L의 아이디어를 context distillation (CD)로 확장, 문서 정보를 즉시 LLM parameter에 internalize하는 Doc-to-LoRA (D2L) - D2L은 base LLM의 context window를 4배 이상 초과하는 길이에서도 near-perfect retrieval accuracy를 ..

관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️usechatgpt init success[Meta Superintelligence Labs, Princeton University, Duke University] - static data에 의존하지 않고 online interaction을 통해 continual personalization을 수행하는 PAHF 프레임워크 제안 - pre-action clarification과 post-action feedback이라는 dual feedback channel을 활용하여 explicit per-user memory를 업데이트 - embodied manipulation과 online shop..

본 레포트는 최근 자연어 처리(NLP)와 정보 검색(IR) 분야에서 핵심적인 역할을 하는 Text Embedding 모델의 발전 흐름을 다룹니다.특히 약지도 학습(Weakly-Supervised Learning), 다단계 대조 학습(Multi-stage Contrastive Learning), 하이브리드 검색(Hybrid Retrieval), 그리고 효율적인 표현 학습(Representation Learning) 기술을 중심으로 최신 모델들의 아키텍처와 방법론을 분석했습니다.1. Embedding 모델의 역할과 중요성Embedding 모델은 텍스트 데이터를 저차원의 잠재 공간(Latent Space)으로 인코딩하여 의미론적(Semantic) 유사성을 계산할 수 있게 하는 DNN 애플리케이션의 핵심 형태입..