Context-Based Sentence Order Prediction AI Competition

Algorithm | Montly Dacon | NLP | Generate AI | LLM | Accuracy

Prize : DASCHOOL Pro Subscription
402 Users Completed

Practice

Overview Data Code (share) Talk Leaderboard

Submission

[Private 7th] 파인튜닝

재현쨩123

2025.07.03 20:42 519 Views language

기본적인 데이터 증강과 lora 파인튜닝입니다.

프롬프팅과 데이터 증강에 초점을 맞춰서 여러 방법을 시도했습니다.
대표적으로,
1. 역번역
2. 국내 언어모델 및 대형(70b)언어모델 페러프레이징
3. 순열 순서 조합 번경
을 시도했습니다.

대부분 점수가 0.87~0.88로 생각보다 엄청난 차이가 없었지만
오픈소스 번역 라이브러리들은 한국어 번역이 형편 없어서 역변역 증강은 모델학습으로 이어지진 않았습니다.

PDF

Code