전체 글

관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️usechatgpt init success [Princeton Univ., UC San Diego, Stanford Univ., USC, JHU]- agent skill이 언제 도움이 되고, 왜 작동하고, 어디서 실패하는지를 controlled experiment + paired trajectory analysis로 분석- 동일한 trajectory로 만든 Workflow Memory 대비 Skill이 6.06 point 높은 성공률을 기록. skill은 지식을 주입(knowledge injection, 4.5%)하는 게 아니라 행동을 고정(procedural anchoring, 65...

관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️usechatgpt init success [Onyx, UC Berkeley]- Slack, Gmail, Jira, Confluence 등 9개 enterprise source type으로 구성된 약 50만 개 문서의 synthetic corpus와 10개 카테고리 500개 질문으로 이루어진 RAG 벤치마크 EnterpriseRAG-Bench 공개- human-in-the-loop scaffolding 기반의 generation framework로 cross-document coherence를 유지하면서 misfiled documents, near-duplicates, conflicti..

관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️[Anthropic, Truthful AI, Warsaw Univ. of Technology, Oxford, ARC, UC Berkeley]- teacher 모델의 behavioural trait (동물 선호나 misalignment 등)이 의미적으로 전혀 관련 없는 데이터 (숫자 시퀀스 등)를 통해 student 모델에게 전파되는 subliminal learning 현상을 발견- 이 현상은 teacher와 student가 동일한 (혹은 behaviourally matched) base model을 공유할 때만 발생- 단 한 번의 gradient descent step이 student를..

관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️usechatgpt init success [Sakana AI] - hypernetwork를 활용해 natural language description만으로 LoRA adapter를 single forward pass에 생성하는 Text-to-LoRA (T2L) - T2L의 아이디어를 context distillation (CD)로 확장, 문서 정보를 즉시 LLM parameter에 internalize하는 Doc-to-LoRA (D2L) - D2L은 base LLM의 context window를 4배 이상 초과하는 길이에서도 near-perfect retrieval accuracy를 ..

관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️usechatgpt init success[Meta Superintelligence Labs, Princeton University, Duke University] - static data에 의존하지 않고 online interaction을 통해 continual personalization을 수행하는 PAHF 프레임워크 제안 - pre-action clarification과 post-action feedback이라는 dual feedback channel을 활용하여 explicit per-user memory를 업데이트 - embodied manipulation과 online shop..

0. 회고 네이버에서부터 블로그를 시작한 지도 어느덧 거의 4년이 다 되어간다.기록하는 것 자체도 좋아하고 기록물이 누군가에게 공유될 수 있다는 것도 굉장히 큰 의미를 가졌었다. 처음에는 이 업계/분야에 진입하면서 나의 노력과 열정이 누군가(아마 인사 담당자)에게 잘 전달될 수 있도록 하는 것에 집중했다.시간이 지나면 기술 블로그로 보여줄 수 있겠지? 아마 가산점이 되지 않을까?,라고 생각하며. 좀 더 의미가 있는 글을 쓰기 시작했을 땐 아마 알고리즘 리뷰를 똑바로 작성하자고 마음 먹었을 때인 것 같다.단순히 학습하는 내용을 남기는 글이 크게 의미가 없고, 내가 블로그를 운영하는 이유는 어쨌든 다른 누군가가 글을 보게 하기 위함이었으니 목적에 적합한 글을 작성하려고 생각했던 것 같다.(과거에는 잘쓰인 백..