도배 하자 질의 응답 처리 : 한솔데코 시즌2 AI 경진대회

알고리즘 | 언어 | 생성형 AI | LLM | MLOps | QA | Cosine Similarity

  • moneyIcon Prize : 1,000만 원
  • 1,463명 마감

 

LLM 파인튜닝 전 학습없는 아이디어 빌드 ( 2/ 2 )

2024.02.16 08:23 3,649 Views language

안녕하세요 ! LLM 파인튜닝 전 학습없는 아이디어 ( 1 / 2) 에 이어서 올려드립니다. ! 
프롬프트 엔지니어링에 대한 아이디어 위주로 빌드하였고, 
모델은 mistral 7b 를 한국어로 finetuning + dpo tuning 된 모델로 실험하였습니다. 
# 모델은 huggingface 에서 mistral 검색 + korean  + 라이센스 아파치 2.0으로 검색해서 임의로 사용했습니다. 

파일에는 잘 담기지는 않았지만 
개인적으로 few shot 보다는  명확한 보기에서 답을 고르는 방식의 prompt 가 좀 더 성능이 잘 나오는 경험을 했습니다. 

프롬프트 엔지니어링에 익숙하지는 않지만, 다른 잘하시는 분들의 코드를 보고 많이 배울 수 있어서 좋은 것 같네요. 


Code
로그인이 필요합니다
0 / 1000
Oak_tree
2024.02.20 14:49

잘봤습니다. 공유 감사합니다.

전자동산
2024.09.18 00:28

감사합니다. 잘 봤습니다.