문맥 기반 문장 순서 예측 AI 경진대회

알고리즘 | 월간 데이콘 | NLP | 생성형 AI | LLM | Accuracy

  • moneyIcon 상금 : 데이스쿨 프로 구독권
  • 407명 마감

 

사전 학습 모델을 제외한 학습방법 관련 질문

2025.05.30 19:00 753 조회

이번 대회도 상당히 어려워보이는 대회 중 하나네요! 다들 어떤 방법들로 접근 중이신지 궁금합니다.


이런 대회들은 모델을 직접 만드는 건 힘들다고 보는데, 사전 학습된 모델들을 사용하여 접근하는 것이 최선의 방법인가요?

만약, 사전 학습 모델이 아닌 다른 방법으로 시도하고 계신 분들이 있다면 어떤식으로 접근 중이신지 궁금합니다.

로그인이 필요합니다
0 / 1000
goorm
2025.06.16 13:04

저는 사전학습 모델 사용하고 있습니다 :)
어제부터 시작해서 아직 모델 이것저것 실험하고 있는데
실험한 모델들 중에서는 "yanolja/EEVE-Korean-Instruct-10.8B-v1.0" 모델이 가장 잘 나왔습니다.(앞으로 더 실험할 예정입니다)
GPU는 4060ti 16GB사용하고 있고 unsloth로 4비트 양자화해서 돌리고 있는데 vram은 7~8기가 정도 차지하고 
배치 8, 스탭 2000 기준 학습 6시간, 테스트 데이터셋 추론 40분 정도 걸렸습니다. (public score 기준 0.85)