Context-Based Sentence Order Prediction AI Competition

Algorithm | Montly Dacon | NLP | Generate AI | LLM | Accuracy

  • moneyIcon Prize : DASCHOOL Pro Subscription
  • 407 Users Completed

 

사전 학습 모델을 제외한 학습방법 관련 질문

2025.05.30 19:00 745 Views

이번 대회도 상당히 어려워보이는 대회 중 하나네요! 다들 어떤 방법들로 접근 중이신지 궁금합니다.


이런 대회들은 모델을 직접 만드는 건 힘들다고 보는데, 사전 학습된 모델들을 사용하여 접근하는 것이 최선의 방법인가요?

만약, 사전 학습 모델이 아닌 다른 방법으로 시도하고 계신 분들이 있다면 어떤식으로 접근 중이신지 궁금합니다.

Login Required
0 / 1000
goorm
2025.06.16 13:04

저는 사전학습 모델 사용하고 있습니다 :)
어제부터 시작해서 아직 모델 이것저것 실험하고 있는데
실험한 모델들 중에서는 "yanolja/EEVE-Korean-Instruct-10.8B-v1.0" 모델이 가장 잘 나왔습니다.(앞으로 더 실험할 예정입니다)
GPU는 4060ti 16GB사용하고 있고 unsloth로 4비트 양자화해서 돌리고 있는데 vram은 7~8기가 정도 차지하고 
배치 8, 스탭 2000 기준 학습 6시간, 테스트 데이터셋 추론 40분 정도 걸렸습니다. (public score 기준 0.85)