재정정보 AI 검색 알고리즘 경진대회

알고리즘 | NLP | 생성형 AI | LLM | 질의응답 | F1 Score

Submission

Private 10, Shallow팀 코드 공유

공동작성자

2024.09.23 10:56 1,126 Views language

성능 개선을 위하여 LLaMA 3.1 405B 모델을 사용하여 추론을 하였습니다. 데이터 증강 및 파인 튜닝 등, 다양한 시도를 하였고, table을 csv로 추출하여 저장하여 성능을 개선하였습니다.
추론 환경 : A100 (80GB) * 4

Code

로그인이 필요합니다

comment

0 / 1000

c4big2

2024.09.23 11:11

코드 공유 매우 감사합니다.
질문 드리겠습니다.
코드상에선 파인튜닝 한 부분은 안보이는데 405B 모델을 파인튜닝하면 성능이 하락 되었는지 궁금합니다.

도라희

2024.09.23 11:23

파인튜닝은 8B 모델을 했고, 컴퓨팅 상 405B 모델의 파인튜닝은 고려하지 못했습니다.

c4big2

2024.09.23 11:52

답변 감사합니다. :)

현재 글

Private 10, Shallow팀 코드 공유

Competition - 재정정보 AI 검색 알고리즘 경진대회

Likes 8

Comments 3

3달 전