월간 데이콘 법원 판결 예측 AI 경진대회

하드웨어 정말 중요하죠. 수고하셨습니다 :)

학습 데이터에 대한 overfitting이 심할 것 같아 LoRA 대신 유사한 판결문을 주고 예측하는 few-shot learning 접근 방법을 활용했습니다. :)

안녕하세요, 슈퍼패스맨님!

말씀해주신 것처럼 불균형 문제는 대표적인 방법들로 접근할 수 있지만, 사용하지 않은 이유는 아래와 같습니다.
1. EDA & Back translation: 법원 판결 내용 자체가 일반 문서 데이터보다 난이도가 높아 어색한 변환 결과를 보았기 때문에 텍스트 수정 없이 원본 정보를 유지하였습니다.
2. Over/under sampling: 초기 접근 방법은 first pary+second party+facts를 하나의 텍스트로 연결한 뒤 first party 승리 여부를 예측했었습니다. 하지만, 모델은 first party와 second party의 정보를 전혀 이용하지 않고 facts 내용 기반 승패를 예측하는 과적합 현상을 관측했었습니다.

따라서, 사건과 대상자가 직접적으로 연결될 수 있는 모델 구조로 새롭게 설계했고, 이전에 알고 있던 vision 지식들을 적절하게 활용한 경우라 선행 자료로 보기 어렵지만 cosine distance 기반 classification 구조를 직관적으로 이해하실 수 있을 것 같아 논문 (arxiv.org/abs/1904.04232) 한 편 추천드립니다.사건과 대상자만 1:1로 연결한 구조 덕분에 모델이 사건과 대상자 관계를 기반으로 예측했었고, first party와 second party의 위치를 섞는 새로운 augmentation 전략도 시도해볼 수 있었습니다.

궁금하신 부분은 편하게 남겨주시면 답변드리겠습니다.
향후 비슷한 주제들에 대하여 많은 도움이 되길 응원합니다. :)

안녕하세요, 

귀찮으실 수 있는 질문이었는데 친절히 답변해 주셔서 정말 감사합니다.

큰 도움이 되었습니다! 이번주도 화이팅 입니다!