DASCHOOL Discount Returns!
분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
Private 10, Shallow팀 코드 공유
성능 개선을 위하여 LLaMA 3.1 405B 모델을 사용하여 추론을 하였습니다. 데이터 증강 및 파인 튜닝 등, 다양한 시도를 하였고, table을 csv로 추출하여 저장하여 성능을 개선하였습니다.
추론 환경 : A100 (80GB) * 4
파인튜닝은 8B 모델을 했고, 컴퓨팅 상 405B 모델의 파인튜닝은 고려하지 못했습니다.
답변 감사합니다. :)
DACON Co.,Ltd | CEO Kookjin Kim | 699-81-01021
Mail-order-sales Registration Number: 2021-서울영등포-1704
Business Providing Employment Information Number: J1204020250004
#901, Eunhaeng-ro 3, Yeongdeungpo-gu, Seoul 07237
E-mail dacon@dacon.io |
Tel. 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
코드 공유 매우 감사합니다.
질문 드리겠습니다.
코드상에선 파인튜닝 한 부분은 안보이는데 405B 모델을 파인튜닝하면 성능이 하락 되었는지 궁금합니다.