문맥 기반 문장 순서 예측 AI 경진대회

알고리즘 | 월간 데이콘 | NLP | 생성형 AI | LLM | Accuracy

  • moneyIcon 상금 : 데이스쿨 프로 구독권
  • 2025.05.07 ~ 2025.06.30 09:59 + Google Calendar
  • 400명 마감

 

[Private 7th] 파인튜닝

2025.07.03 20:42 418 조회 language

기본적인 데이터 증강과 lora 파인튜닝입니다.

프롬프팅과 데이터 증강에 초점을 맞춰서 여러 방법을 시도했습니다. 
대표적으로,
1. 역번역
2. 국내 언어모델 및 대형(70b)언어모델 페러프레이징
3. 순열 순서 조합 번경
을 시도했습니다.

대부분 점수가 0.87~0.88로 생각보다 엄청난 차이가 없었지만
오픈소스 번역 라이브러리들은 한국어 번역이 형편 없어서 역변역 증강은 모델학습으로 이어지진 않았습니다.

PDF
코드