분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
[Private 7th] 파인튜닝
기본적인 데이터 증강과 lora 파인튜닝입니다.
프롬프팅과 데이터 증강에 초점을 맞춰서 여러 방법을 시도했습니다.
대표적으로,
1. 역번역
2. 국내 언어모델 및 대형(70b)언어모델 페러프레이징
3. 순열 순서 조합 번경
을 시도했습니다.
대부분 점수가 0.87~0.88로 생각보다 엄청난 차이가 없었지만
오픈소스 번역 라이브러리들은 한국어 번역이 형편 없어서 역변역 증강은 모델학습으로 이어지진 않았습니다.
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
직업정보제공사업 신고번호: J1204020250004
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io |
전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved