모델 비교실험 결과 공유

문맥 기반 문장 순서 예측 AI 경진대회

모델 비교실험 결과 공유

goorm

2025.06.16 21:51 747 조회

모든 변수는 동일하고 모델만 바꿔서 실험했습니다. 점수는 Public score를 의미합니다.

meta-llama/Llama-3.1-8B-Instruct: 0.8202
openchat/openchat-3.5-0106: 0.8235
yanolja/EEVE-Korean-Instruct-10.8B-v1.0: 0.8561
MLP-KTLim/llama-3-Korean-Bllossom-8B: 0.8224
Qwen/Qwen3-14B: 0.8685
google/gemma-2-9b-it: 0.8573
FractalAIResearch/Fathom-R1-14B: 0.8561
sometimesanotion/Lamarck-14B-v0.7: 0.8561

댓글 8개

로그인이 필요합니다

comment

0 / 1000

과적합방지위원회

2025.06.17 01:37

또 이렇게 성능 정리까지 깔끔하게 올려주셔서 감사합니다. 수고 많으십니다!

goorm

2025.06.17 02:23

감사합니다 :)

국어선생님

2025.06.17 07:44

정보 감사합니다 ㅠ GPU사양이랑 추론 시간은 얼마나 걸리시는지 여쭤봐도 될까요?

goorm

2025.06.17 09:30

4060ti 16gb 사용하고 있습니다.

정확한 시간을 기록해놓진 않아서..
훈련시간은 모두 5~7시간 정도 걸렸고
추론 시간은 20분~ 40분 정도 걸립니다.

google/gemma-2-9b-it 모델은 훈련하는데 5시간 28분, 추론 하는데 24분 걸렸습니당:)