Pytorch를 활용한 NLP 모델링

Wanted 프리온보딩 AI/ML 코스에서 수행한 프로젝트 / 과제들을 정리합니다.

• 선발 과제 : Tokenizer, Tf-idf Vectorizer 구현

• 기업 과제1 : 문자열 매칭 알고리즘 구현

• 기업 과제2 : 유튜브 데이터 분석 및 인기도 지표 개발

• 기업 과제3 : KLUE - STS 성능 개선

• 기업 과제4 : 스포츠 기사 요약문 생성 및 평가 지표 개발

---

• 일일 과제 : Pytorch를 활용한 NLP 모델링

Week 2 - 1

• huggingface에서 pretrained tokenizer, bert 를 불러와 구조 확인
• layer 마다 embedding 추출 및 cosine-similarity 측정

Week 2 - 2

• Bert에 binary-classifier를 연결해 nsmc 데이터로 fine-tuning
• fine-tuning : free, unfreeze 방법

Week 2 - 3

• Custom Dataset, Custom collate_fn 구현
• 훈련(train), 검증(valid) Dataloader 구성

Week 2 - 4

• helper.py 모듈의 Class, function를 import
• accuracy() 함수 구현하여 모델의 예측 정확도 확인

Week 3 - 1

• Skip-gram 방식의 word2vec 구현하기
  • Corpus : tokenized ko-wikipedia
  • stop-words : https://www.ranks.nl/stopwords/korean
• Negative Sampling 구현하기
• word2vec 학습 및 gensim으로 결과 확인

Week 3 - 2

• WordPiece Tokenizer 학습 및 결과 확인

Week 3 - 4

• Transformers 논문 구현
• 참고 : https://nlp.seas.harvard.edu/2018/04/03/attention.html

Week 4

• Tensorboard 사용하기
  • Graph, Metrics, Text 시각화