Python 완전정복 시리즈 #37: Hugging Face Trainer 완벽 이해하기
Python 완전정복 시리즈 37편입니다. Hugging Face Trainer를 이용해 사전 학습 Transformer 모델을 내 데이터로 Fine-tuning하는 방법을 감정 분석 프로젝트로 정리했습니다. Fine-tuning과 Feature Extraction 차이, Trainer와 TrainingArguments, DistilBERT 데이터셋 준비, Tokenizer, Dynamic Padding, Data Collator, 평가 지표, Accuracy·Precision·Recall·F1, Checkpoint, Early Stopping, 혼합 정밀도 FP16·BF16, Gradient Checkpointing, 학습 재개, 모델 저장, Pipeline 추론, Hugging Face Hub 업로드, GPU 메모리 부족 해결과 데이터 누수 방지까지 다룹니다.