패스트캠퍼스 그룹 스터디
개요
스터디 그룹 주제
AI hub 데이터를 활용한, DL 분류 모델 만들기
메인 주제
활용 데이터 : 속성기반 감정분석 데이터
활용 모델 : WhitePeak/bert-base-cased-Korean-sentiment
메인 주제 : 쇼핑몰/SNS 리뷰 데이터를 감성분류하기
스터디 그룹 학습 내용
pytorch 문법 $\leftarrow$ upstage 강의를 통해 학습
huggingface 활용법 $\leftarrow$ huggingface tutorial을 통해
transformers installation
huggingface Text classification
tutorial
fine-tuning pre-trained model
개인이 공부 한 내용
Pytorch_huggingface tutorial 실습 (1)
Pytorch_huggingface tutorial 실습 (2)
huggingface 사전 학습 모델 사용해보기
Pytorch_huggingface tutorial 실습 (3)
그룹원들과 진행 한 내용
이슈 (cuda OOM) 공유
다른 pretrained model을 이용한 팀원과의 코드 공유
ppt 제작
스터디 그룹 멘토링
그룹 질문과 답변
Q. 코랩은 문제 x, Local 환경에서 에러가 제대로 출력되지 않음.
Window 운영체제의 근본적인 문제로 이걸 개인적으로 해결하는 건 불가능할 가능성이 높다.
가장 좋은 방법은 Linux기반의 운영체제를 사용하는 방법이고
윈도우에서 Linux환경을 셋팅할 수 있는 WSL2이라는 것이 있다.
개인 질문과 답변
Q. CUDA Out-of-Memory 이슈로 인한 학습 불가
-
batch size를 줄이는 방법 (batch size가 줄어 학습 성능이 떨어지는 건 Gradient accumulation을 고려)
보통 2의 제곱수, 혹은 2의 제곱수의 배수로 설정 -
float형 변수를 fp32에서 fp16으로 바꿔 메모리 사용 줄이기
마무리
회고 및 느낀점 등
pytorch와 huggingface에 대해 알 수 있던 시간이었고, pre-trained model을 활용하는 방법도 알 수 있어 뜻깊었습니다.