월간 데이콘 법원 판결 예측 AI 경진대회

구글의 Devlin(2018)이 제안한 BERT는 사전 학습된 대용량의 레이블링 되지 않는(unlabeled) 데이터를 이용하여 언어 모델(Language Model)을 학습하고 이를 토대로 특정 작업( 문서 분류, 질의응답, 번역 등)을 위한 신경망을 추가하는 전이 학습 방법입니다.

본 코드는 0(800개)과 1(1600개)에 대한 데이터 불균형으로 1을 800개 다운샘플링하고 Bert를 이용해 예측합니다.