분류 전체보기

관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️[Anthropic, Truthful AI, Warsaw Univ. of Technology, Oxford, ARC, UC Berkeley]- teacher 모델의 behavioural trait (동물 선호나 misalignment 등)이 의미적으로 전혀 관련 없는 데이터 (숫자 시퀀스 등)를 통해 student 모델에게 전파되는 subliminal learning 현상을 발견- 이 현상은 teacher와 student가 동일한 (혹은 behaviourally matched) base model을 공유할 때만 발생- 단 한 번의 gradient descent step이 student를..

관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️usechatgpt init success [Sakana AI] - hypernetwork를 활용해 natural language description만으로 LoRA adapter를 single forward pass에 생성하는 Text-to-LoRA (T2L) - T2L의 아이디어를 context distillation (CD)로 확장, 문서 정보를 즉시 LLM parameter에 internalize하는 Doc-to-LoRA (D2L) - D2L은 base LLM의 context window를 4배 이상 초과하는 길이에서도 near-perfect retrieval accuracy를 ..

관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️usechatgpt init success[Meta Superintelligence Labs, Princeton University, Duke University] - static data에 의존하지 않고 online interaction을 통해 continual personalization을 수행하는 PAHF 프레임워크 제안 - pre-action clarification과 post-action feedback이라는 dual feedback channel을 활용하여 explicit per-user memory를 업데이트 - embodied manipulation과 online shop..

0. 회고 네이버에서부터 블로그를 시작한 지도 어느덧 거의 4년이 다 되어간다.기록하는 것 자체도 좋아하고 기록물이 누군가에게 공유될 수 있다는 것도 굉장히 큰 의미를 가졌었다. 처음에는 이 업계/분야에 진입하면서 나의 노력과 열정이 누군가(아마 인사 담당자)에게 잘 전달될 수 있도록 하는 것에 집중했다.시간이 지나면 기술 블로그로 보여줄 수 있겠지? 아마 가산점이 되지 않을까?,라고 생각하며. 좀 더 의미가 있는 글을 쓰기 시작했을 땐 아마 알고리즘 리뷰를 똑바로 작성하자고 마음 먹었을 때인 것 같다.단순히 학습하는 내용을 남기는 글이 크게 의미가 없고, 내가 블로그를 운영하는 이유는 어쨌든 다른 누군가가 글을 보게 하기 위함이었으니 목적에 적합한 글을 작성하려고 생각했던 것 같다.(과거에는 잘쓰인 백..

본 레포트는 최근 자연어 처리(NLP)와 정보 검색(IR) 분야에서 핵심적인 역할을 하는 Text Embedding 모델의 발전 흐름을 다룹니다.특히 약지도 학습(Weakly-Supervised Learning), 다단계 대조 학습(Multi-stage Contrastive Learning), 하이브리드 검색(Hybrid Retrieval), 그리고 효율적인 표현 학습(Representation Learning) 기술을 중심으로 최신 모델들의 아키텍처와 방법론을 분석했습니다.1. Embedding 모델의 역할과 중요성Embedding 모델은 텍스트 데이터를 저차원의 잠재 공간(Latent Space)으로 인코딩하여 의미론적(Semantic) 유사성을 계산할 수 있게 하는 DNN 애플리케이션의 핵심 형태입..

관심 있는 NLP 논문을 읽어보고 NotebookLM으로 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️usechatgpt init success[Anthropic]- 모델의 학습 데이터에 유해한 내용을 포함하는 poisoning attacks 방식은 '고정된 숫자의 샘플'로 성공할 수 있다- 이때 학습에 사용된 clean data와 poison samples 간의 비율은 중요하지 않다. 즉, 더 많은 clean data로 학습한 사이즈가 큰 모델도 '고정된 숫자의 poison sample'로 attack 가능하다. 출처 : https://arxiv.org/abs/2510.07192대규모 언어 모델(LLM) 포이즈닝 공격의 확장성: 공격 성공은 절대적인 포이즌 샘플..