Context-Based Sentence Order Prediction AI Competition

Algorithm | Montly Dacon | NLP | Generate AI | LLM | Accuracy

Prize : DASCHOOL Pro Subscription
402 Users Completed

Practice

Overview Data Code (share) Talk Leaderboard

Submission

[Private 3rd] SFT with Qwen3-14B + Checkpoint Ensemble

Strang

2025.07.01 19:56 777 Views language

처음 NLP 경진 대회에 참여해 보았는데 좋은 성적을 받아 뿌듯하네요:) 먼저 코드 관련 내용을 요약하면 다음과 같습니다.

- 환경: Google Colab L4 (GPU RAM 22.5 GB) / CPU
- 모델: Qwen3-14B (Text Generation)
- 접근 방식: 데이터 증강 + Supervised Fine-tuning + Checkpoint Ensemble
- 비용: 훈련 24h (2898 스텝) / 추론 40m per model

보다 자세한 내용은 발표 자료, 그리고 깃허브 저장소를 참고해 주시기 바랍니다. 특히 이 페이지에 있는 코드는 하나의 노트북에 모든 코드를 다 넣은 것이라 보기도 힘들고 원본과 차이가 조금 있습니다. 깃허브 저장소에 있는 게 원본 코드입니다.

- 깃허브 저장소: https://github.com/Won-Seong/kor-sentence-ordering
- 모델 저장소: https://huggingface.co/JuyeopDang/Qwen-3-14B-Sentence-Ordering

개인으로 참여했고 자원도 부족해서 일반적인 Language Modeling 외 다른 접근을 충분히 시도해 보지 못했던 게 아쉽습니다. 그래도 한 달 동안 고생하면서 많은 걸 배울 수 있었네요. 모두들 고생하셨습니다👍

PDF

Code