ChatGPT 활용 AI 경진대회 월간 데이콘

알고리즘 | ChatGPT | 프롬프트 엔지니어링 | 언어 | 분류 | Macro F1 Score

Prize : 인증서
1,214명 마감

Practice

Overview Data Code (share) Talk Leaderboard

Submission

[Private 2위] DeBERTa with Label Smoothing Loss

의문의AI고수

2023.04.15 19:47 3,468 Views language

pdf 용량이 너무 커서 파일 업로드에 올라가지 않네요 (100장 정도) ㅠㅠ 앞부분만 올리고 링크로 첨부하겠습니다..! 다들 수고하셨습니다!

ChatGPT 프롬프트 전략 (ChatGPT 4 사용) : https://github.com/juicyjung/Code_By_ChatGPT/blob/main/Prompt_Strategy_for_Programming_with_ChatGPT.pdf

모델 weight 파일 (다운로드 링크) : https://drive.google.com/drive/folders/1guAMyNXOnBnKFZgDksFn4XWIMsiRVYwi?usp=sharing
Inference 할 때는 위 링크 모델 파일 다운 받고 맨 마지막 셀 돌려보시면 됩니다!!

사용 환경 : Google Colab Pro Plus, Ubuntu GeForce RTX 3080 Lite Hash Rate

- Stratified K-Fold로 train / val dataset 나누기
- train set에 해당하는 data들 augmentation (Back translation / Summarization)
- Preprocessing
- “sileod/deberta-v3-base-tasksource-nli” 모델 fine-tuning
- token max_len = 512, batch size = 32
- optimizer = AdamW, lr = 1e-5
- loss funtion은 Label smoothing loss, smoothing = 0.01 사용
- 1 Fold와 3 Fold ensemble.