학습률을 크게 올려 손실만 보면 오버핏이 언제 시작됐는지 모릅니다. 오늘은 파인튜닝에서 학습률·오버핏·체크포인트를 한 신호로 묶습니다. 다음 실험부터는 체크포인트 한 줄을 남깁니다.

자세한 내용과 근거는 DAKER 원문에서 확인하실 수 있습니다.

핵심 요약

• 학습률만 키우면 검증 손실이 갈라진 지점을 되돌리기 어렵습니다.

• 중간 가중치를 체크포인트로 남겨 오버핏 시작 구간을 끊습니다.

• 「한 번에 키우기」에서 「체크포인트로 끊기」로 바꾸는 한 장면을 정리했습니다.

원문 보기: https://daker.ai/community/finetuning-lr-ramp-up-checkpoint-overfit

DAKER: https://daker.ai/community/finetuning-lr-ramp-up-checkpoint-overfit