![]()
오늘은 최근에 프로젝트 수행을 위해 회사 차원에서 구매한 650만원 짜리 레노버 노트북을 고장냈다가 정상적으로 고쳐낸 썰을 좀 기록해보고자 합니다. 살면서 이런 고사양 노트북을 직접 뜯어보고 만져볼 날이 오다니..감개무량 했지만 기쁨은 잠시, 노트북께서 순식간에 사망하시고 저는 이를 고칠 시간이 없어 지옥 같은 일주일을 보냈습니다. 🔥💀🪦결국 노트북은 정상적으로 복구 되었으나 그 과정에 여러 이슈들이 있었고, 문제가 있는 노트북에서의 화면들을 직접 촬영하거나 기록하지는 못해서 작성될 내용들 사이에 공백이 존재할 수 있음을 미리 말씀드립니다. 따라서 이 글은 아래에 해당하는 분들이 읽으시면 좋은 글입니다.Windows를 업그레이드 혹은 다운그레이드 하다가 노트북이 제대로 작동하지 않게 된 분저는 ..
![]()
관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇♂️usechatgpt init success[HPI]- [IDK] 라는 스페셜 토큰을 모델 vocab에 추가- 잘못된 예측에 대한 probability mass를 스페셜 토큰으로 옮겨주는 objective function 도입- 큰 사이즈의 corpus에 대해 objective function 교체 후 self-supervised learning (pre-training) 적용 출처 : https://arxiv.org/abs/2412.066761. IntroductionLLM은 뛰어나지만 아직까지도 hallucination 문제가 해결되지 않고 있죠.이제는 LLM에게서 이러한 문제점이 나..
![]()
취업 관련 후기는 오랜만에 작성하는 것 같네요.6개월이 금방 지나갔다고 생각했는데 생각보다 길었던 것 같기도 하고.. 묘한 기분이 드네요오늘(2024.11.13)은 업스테이지에서 정규직 전환형 인턴으로 6개월 근무 후에 정규직으로 전환하게 된 후기를 남겨보겠습니다 🥳저는 영어영문학을 전공하고 네이버 부스트캠프를 통해 자연어처리를 배웠습니다.이후 스타트업과 대학원 연구실을 거쳐 현재까지 오게 되었네요!1. 무슨 일을 했나요?특정할 수 있는 내용이나 공개하기 어려운 것들을 제외하고 아주 간단하게 정리하면,저는 6개월 동안 보험사와 관련된 문제 중 두 가지를 LLM으로 해결할 수 있도록 도입 및 개발하는 업무를 맡았습니다. 사실 제가 입사한 팀은 업스테이지가 창립 시기부터 자랑하던 OCR 기술을 바탕으로..
![]()
최근 사내 스터디를 위해 같이 공부할만한 책을 찾다가 알게 된 책인데요,다양한 서적, 자료 등을 접해본 경험을 근거로, 이 책이 단연 최고의 LLM 도서 중 하나라는 생각을 하게 됐습니다.(인공지능 관련 도서 중 최고를 꼽자면 밑바닥부터 시작하는 딥러닝, 그 다음 이 책인 것 같습니다..!) [도서 링크]- 교보문고: https://product.kyobobook.co.kr/detail/S000213834592- 알라딘: https://www.aladin.co.kr/m/mproduct.aspx?ItemId=343185652- YES24: https://m.yes24.com/Goods/Detail/129081594 [깃허브 링크]- https://github.com/onlybooks/llm 저한테 돈 떨어..
![]()
관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇♂️usechatgpt init success[Appier AI Research, National Taiwan University]- LLM에게 JSON, XML과 같은 structured format을 지키도록 강제하는 경우, reasoning task에서 모델 성능이 하락한다.- 하지만 분류 태스크에서는 오히려 성능이 향상될 수 있다.- 즉, 어떤 형식을 강제하는 것이 모델 성능에 영향을 주는지는 task by task로 다르다. 출처 : https://arxiv.org/abs/2408.024421. IntroductionLLM은 뛰어난 퍼포먼스를 보이고 있음에도 아직까지 실제 app..
![]()
관심 있는 NLP 논문을 읽어보고 간단히 정리했습니다. 혹시 부족하거나 잘못된 내용이 있다면 댓글 부탁드립니다 🙇♂️usechatgpt init success[NC Research]- LLM이 생성한 결과를 평가할 때 존재하는 다양한 bias를 정의 (6개)- EvalBiasBench를 제안. 6개 종류의 bias에 대한 test case를 직접 제작함.- OffsetBias 공개. bias를 낮추는 데 기여할 수 있는 학습용 선호 데이터셋 출처 : https://arxiv.org/abs/2407.06551 1. Introduction최근 LLM이 생성한 텍스트를 LLM으로 평가하는 경우가 굉장히 많아졌습니다.LLM으로 생성하는 텍스트는 종류나 범위가 엄청나게 다양한데 이를 사람이 직접 다 평가하기엔..
