도배 하자 질의 응답 처리 : 한솔데코 시즌2 AI 경진대회

알고리즘 | 언어 | LLM | MLOps | QA | Cosine Similarity

상금 : 1000만 원
1,382명 마감

연습

대회안내 데이터 코드 공유 토크 리더보드

제출

LDCC/LDCC-SOLAR-10.7B instruction tuning 공유

화산파장문인

공동작성자

2024.04.02 20:24 371 조회 language

성적이 좋진 않았지만 공부용으로 코드 공유합니다!
제미나이 api로 데이터 증강했었는데, 크게 성능이 좋진 않았습니다.
학습데이터 길이 확인 후 max len 1024로 설정하여 instruction tuning 진행했습니다!
추론에는 꽤 많은 시간이 걸렸습니다.. 자원이 많이 중요하고 항상 비슷한 인사이트지만 데이터가 매우 중요하다는 것을 느꼈습니다 :)

코드

댓글 0개

로그인이 필요합니다

comment

0 / 1000

📣 댓글 작성 창의 위치가 댓글 리스트 상단으로 이동하였습니다!

목록으로

이전 글이 존재하지 않습니다.

현재 글

LDCC/LDCC-SOLAR-10.7B instruction tuning 공유

대회 - 도배 하자 질의 응답 처리 : 한솔데코 시즌2 AI 경진대회

2달 전

QLoRA + 4bit quantization + LDCC-SOLAR-10.7B(≈9GB vram used)

대회 - 도배 하자 질의 응답 처리 : 한솔데코 시즌2 AI 경진대회

3달 전