도배 하자 질의 응답 처리 : 한솔데코 시즌2 AI 경진대회

Algorithm | NLP | Generate AI | LLM | MLOps | QA | Cosine Similarity

 

LDCC/LDCC-SOLAR-10.7B instruction tuning 공유

공동작성자
2024.04.02 20:24 5,175 Views language

성적이 좋진 않았지만 공부용으로 코드 공유합니다!
제미나이 api로 데이터 증강했었는데, 크게 성능이 좋진 않았습니다.
학습데이터 길이 확인 후 max len 1024로 설정하여 instruction tuning 진행했습니다!
추론에는 꽤 많은 시간이 걸렸습니다.. 자원이 많이 중요하고 항상 비슷한 인사이트지만 데이터가 매우 중요하다는 것을 느꼈습니다 :)

Code