딥러닝

지난 번에는 BertModel과 BertForSequenceClassification에 대한 비교를 다루었습니다. https://chanmuzi.tistory.com/243 [PyTorch] AutoModel vs AutoModelForSequenceClassification 비교하기 (BERT 파헤치기!!) 본 게시물은 NLP 분야에서 가장 많이 사용되는 모델 중 하나인 BERT를 기준으로 작성되었습니다. 드디어 혼자서 아주 간단한 프로젝트에 도전해 볼 기회가 주어져서 밑바닥부터 딥러닝 모델 구조 chanmuzi.tistory.com 입력은 동일하지만 출력이 다르다는 사실, 그리고 그 이유를 코드와 함께 자세히 설명했었는데요, 이번에는 nn.Module을 이용하여 BertModel을 BertForSeq..

본 게시물은 NLP 분야에서 가장 많이 사용되는 모델 중 하나인 BERT를 기준으로 작성되었습니다. 드디어 혼자서 아주 간단한 프로젝트에 도전해 볼 기회가 주어져서 밑바닥부터 딥러닝 모델 구조를 짜보았습니다. 사실 다른 사람이 짜준 코드와 구조 내에서 일부만 변경하던 것에 비하면 너무너무 어렵다는 생각이 들었습니다 🤯 어찌보면 그만큼 복잡한 구조 내에서 작업했던게 신기하기도 했구요. 아마 저처럼 캐글이나 데이콘과 같은 경진대회에 처음 입문하는 사람은 주어진 베이스라인의 형태를 벗어나는 것 조차 어려운 일일 것입니다. 그래서 제가 캐글과 데이콘의 간단한 분류 프로젝트를 진행하면서 알게 된 내용들을 최대한 이해하기 쉽게 정리해보고자 합니다. 다른 것보다도 사전학습된 모델을 불러와서 내가 원하는대로 커스텀하는..

저는 지금 데이콘의 ChatGPT 활용 대회에 참여중입니다! 그런데 이 대회의 데이터는 train/test가 각각 약 4만, 약 8만여개에 달하더군요.. (test 데이터가 두 배인 경우는 처음 보는디 🧐) 어쨌든 모델을 구축해서 코랩 환경에서 학습을 진행하는데.. 학습 시간이 꽤 오래 걸린단 말이죠? 물론 자는 동안 돌려도 되지만 역시 코랩에서 돌리는 건 언제 런타임이 끊길지 모른다는 불안감..😱 그래서 캐글 노트북 환경에 구글 드라이브 데이터를 불러와 학습을 돌리면 어떨까 생각해보았습니다. 검색해보니 캐글의 데이터셋을 구글로 불러오는 자료들은 많은데 그 반대는 적더라구요 🥲 열심히 구글링, 검색한 결과(New Bing이시여..🙇‍♂️).. 구글 드라이브에 저장된 데이터를 캐글로 불러올 수 있게 되었습..

캐글에서 모델 짜는 연습을 해보려고 노트북 파일에 이것저것 끄적거리던 중... 충격적인 에러를 마주했습니다. from transformers import AutoModel model_name = 'bert-base-uncased' model = AutoModel.from_pretrained(model_name) 을 실행 시킨 결과.. 분명히 저는 이 코드를 캐글의 노트북으로 작성중이었는데 연결이 안된다는게 이해가 안갔습니다.. 😟 내가 모델 이름을 잘못 입력했나..? 🧐 그건 확실히 아닌 것 같고... 아! 혹시 Hugging Face 서버가 터졌나? (이전에도 서버가 터져서 유사한 이슈를 겪어봤습니다..) 원인을 알 수가 없었더랬죠... 구글링을 해보면 비슷한 이슈를 가진 사람들이 있었는데, 로컬에 파..

자연어처리 분야에서 아주 큰 입지를 차지하고 있는 모델인 BERT와 BERT 기반의 파생모델들에 대해 공부한 내용을 정리해봤습니다. 구글 BERT의 정석(한빛미디어)라는 책과 각 모델 관련 논문, 그리고 인터넷의 여러 게시물들을 참고하여 최대한 간략하게 정리했습니다. 순서는 다음과 같습니다. 1. BERT 2. ALBERT 3. RoBERTa 4. ELECTRA 5. SpanBERT 실제로 자연어처리 분야의 여러 태스크를 수행할 때 자주 사용되는 RoBERTa, ELECTRA와 같은 모델들이 어떤 배경에서 등장하고 어떤 특징을 지니고 있는지 간단히 확인할 수 있도록 비교했습니다. 혹시 제가 잘못 알고 있거나 잘못 작성한 내용이 있다면 피드백 부탁드리겠습니다 🤗 (참고로 노션에서 작성한 내용을 가져와 재구..

오늘은 정규표현식에 대해 공부한 내용을 조금 정리해보고자 합니다. 사실 정규표현식 자체가 워낙 익숙치 않기도 하고 자주 사용되는 느낌은 아니라서... '필요할 때마다 검색해서 쓰면 되겠지~' 생각했는데 막상 쓰고 싶을 때 활용할 능력도 없었습니다..😱 하지만 정규표현식은 크롤링과 자연어 전처리에서 필수적이라고 합니다. 인공지능 모델이 학습하기 위한 좋은 품질의 데이터를 마련하기 위해서 필요한 것이죠! 그래서 이번에 정규표현식을 활용했던 내용을 토대로 정규표현식에 관한 아주 기초적인 것들을 정리해보겠습니다. 메타 문자 . ^ $ * + ? { } [ ] \ | ( ) 메타 문자란 원래 그 문자가 가진 뜻이 아닌 특별한 용도로 사용하는 문자를 뜻합니다. 이 문자들은 정규표현식에서 다른 문자들과 달리 조금 특..