데이스쿨! 가을맞이 특별할인
분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
사전 학습 모델을 제외한 학습방법 관련 질문
이번 대회도 상당히 어려워보이는 대회 중 하나네요! 다들 어떤 방법들로 접근 중이신지 궁금합니다.
이런 대회들은 모델을 직접 만드는 건 힘들다고 보는데, 사전 학습된 모델들을 사용하여 접근하는 것이 최선의 방법인가요?
만약, 사전 학습 모델이 아닌 다른 방법으로 시도하고 계신 분들이 있다면 어떤식으로 접근 중이신지 궁금합니다.
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
직업정보제공사업 신고번호: J1204020250004
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io |
전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
저는 사전학습 모델 사용하고 있습니다 :)
어제부터 시작해서 아직 모델 이것저것 실험하고 있는데
실험한 모델들 중에서는 "yanolja/EEVE-Korean-Instruct-10.8B-v1.0" 모델이 가장 잘 나왔습니다.(앞으로 더 실험할 예정입니다)
GPU는 4060ti 16GB사용하고 있고 unsloth로 4비트 양자화해서 돌리고 있는데 vram은 7~8기가 정도 차지하고
배치 8, 스탭 2000 기준 학습 6시간, 테스트 데이터셋 추론 40분 정도 걸렸습니다. (public score 기준 0.85)