12월에도 스테이지1 무료 혜택은 쭈~욱 계속됩니다!
분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
LLM 파인튜닝 전 학습없는 아이디어 빌드 ( 2/ 2 )
안녕하세요 ! LLM 파인튜닝 전 학습없는 아이디어 ( 1 / 2) 에 이어서 올려드립니다. !
프롬프트 엔지니어링에 대한 아이디어 위주로 빌드하였고,
모델은 mistral 7b 를 한국어로 finetuning + dpo tuning 된 모델로 실험하였습니다.
# 모델은 huggingface 에서 mistral 검색 + korean + 라이센스 아파치 2.0으로 검색해서 임의로 사용했습니다.
파일에는 잘 담기지는 않았지만
개인적으로 few shot 보다는 명확한 보기에서 답을 고르는 방식의 prompt 가 좀 더 성능이 잘 나오는 경험을 했습니다.
프롬프트 엔지니어링에 익숙하지는 않지만, 다른 잘하시는 분들의 코드를 보고 많이 배울 수 있어서 좋은 것 같네요.
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io | 전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
잘봤습니다. 공유 감사합니다.