전체 글

관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ (코드 구현에 관한 내용은 마지막에 다루고 있습니다!!) usechatgpt init success [University of Washington] - 기학습된 모델을 4-bit로 quantize한 뒤 Low Rank Adapters(LoRA)를 학습하는 방식 - QLoRA로 학습된 model family, Guanaco를 공개. - ChatGPT의 99.3% 성능을 발휘할 수 있는 65B 모델을 single GPU에서 24시간 동안 fine-tuning - 세 개의 tenchiques: (a) 4-bit NormalFloat (NF4), (b) Double Quantization, (..

제가 대학원생은 아니지만..논문을 자주 읽고 정리하는 사람으로서 강추하고 싶은 프로그램, Zotero를 어떻게 설치하고 활용할 수 있는지에 대해 포스팅해보고자 합니다.사실 그냥 다운로드받고 쓰는 방법 자체는 굉장히 간단하고 좋습니다. 하지만 저처럼 주로 아이패드를 활용해서 논문을 읽는 사람에게 default 세팅은 너무 불친절합니다.ios 전용 어플이 있긴 한데요, 모바일에서 annotation 한 것이 (형광펜, 필기 등) pc에서 반영되지 않는 문제가 있기도 하고, 주어진 기본 용량이 너무 작아 돈을 내지 않고서는 쓰기 어려운 상황이었습니다. 그래서 오늘은 Zotero를 다른 드라이브와 연동하여 10GB를 활용하는 방법에 대해 간단 정리해드리겠습니다!(저는 이걸 세팅한다고 몇 시간을 날렸는지 모르겠네..

관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success [McGill University, University of Toronto, Mila, Google Research] - LLMs의 비판 능력을 활용하여 RL 학습 동안 intermediate-step rewards를 생성할 수 있도록 하는 프레임워크, RELC를 제안 - poicy model과 critic language model을 결합하는 method - critic language model로부터의 feedback은 token 또는 span 단위의 rewards로 전달됨 출처 : https://arxiv.org/abs/2401.07382..

관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success [Microsoft] - 학습 동안에 residual path를 추가하고, 추론 시에는 extra path를 제거하는 merging을 적용한 ResLoRA - LoRA와 residual path를 결합한 최초의 방법론 출처 : https://arxiv.org/abs/2402.18039 ResLoRA: Identity Residual Mapping in Low-Rank Adaption As one of the most popular parameter-efficient fine-tuning (PEFT) methods, low-rank adapta..

관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇‍♂️ usechatgpt init success [Google DeepMind] - RNN과 gated linear recurrence를 결합한 Hawk, gated linear recurrence와 local attention을 결합한 Griffin을 제안 - Hawk는 특정 태스크에서 Mamba 수준의 성능을, Griffin은 Llama-2 수준의 성능을 보임. 특히 후자의 경우 학습 당시에 접한 텍스트 보다 긴 데이터에 대해서도 뛰어난 성능을 보임. - 두 모델은 Transformers 대비 hardward efficient하며 lower latency & higher throughpu..

안녕하세요, chanmuzi입니다. 뭔가 굉장히 오랜만에 평범한 글을 쓰는 기분이네요. 오늘은 아주 최근(2024.02.18 일요일)에 치렀던 TOEIC, TEPS 후기를 남겨보고자 합니다. 시험 자체에 관한 꿀팁이라기보다는.. 개인적인 성찰에 가까운 내용일 것 같습니다 😅 (약간의 팁을 곁들인..?) 1. 어쩌다가 두 시험을 동시에..? 이건 상당히 오만했던 과거의 자신을 많이 탓하고 싶습니다... 저는 2024.02.18 일요일 오전 10시에 토익을, 오후 3시에 텝스를 치렀습니다. 사실 지금 시점에서 어학 점수는 그렇게..까지 중요한 건 아니긴 했어요. 근데 이제 곧 토익 점수(2022.02 응시, 925점)가 만료될 예정이기도 했고 어차피 어학 점수는 뭘하든지간에 요구되는 경우가 많다 보니 해둬서..