월간 데이콘 법원 판결 예측 AI 경진대회

이번 대회를 위해 인터넷 검색을 하다가 아래 제목의 논문을 읽게 되었습니다.
How to Fine-Tune BERT for Text Classification? (https://arxiv.org/abs/1905.05583)

논문에서는 Further pre-training과 Multi-Task Fine-Tuning을 제안합니다.
Further pre-training은 Within-task / In-domain / Cross-domain 이 세가지 pre-training 단계로 다시 나뉘어 집니다.
대회 규칙상 In-domain / Cross-domain pre-training, Multi-Task Fine-Tuning은 적용하지 못했지만
훈련데이터를 사용해 Masked Language Modeling을 진행하여 Within-task pre-training을 적용하였습니다.
(논문에서는 next sentence prediction task도 적용하였습니다.)

또한 논문에서는 Fine-Tuning 시에 layer-wise learning rate를 사용하여 이 또한 적용해 보았습니다.

이상하게 테스트 데이터셋의 손실함수 값이 계속해서 증가하네요 ;;

아래 코드는 코랩 무료환경에서 실행하였습니다