도배 하자 질의 응답 처리 : 한솔데코 시즌2 AI 경진대회

저는 VRAM 8GB 짜리 GPU로 쓰는데, 6B 모델을 qLora 로 돌리려다가 오류가 나는 바람에
더 큰 모델은 생각도 못하고, 1.3B 모델만 쓰고 있는데, 한번 시도 해봐야 겠네요.
감사합니다.
추신, VRAM 8GB로는 1 batch도 못 돌립니다.

이거하면 순위표에서 몇점 정도 나오나요?

안녕하세요! 참가에 의의를 두고 있는 초심자 입니다. 혹시 말씀하신 분의 Inference code 는 gguf 파일을 사용하는 것 같은데 SOLAR 모델 pretraining 한 것은 pth 파일로 저장되는 것으로 알고 있습니다. 이리저리 해보다가 토크 게시판을 보니 SOLAR 기반 모델들의 경우에는 llama-cpp 를 사용하지 못한다고 하는데 그렇다면 Inference code 의 대부분을 수정해서 사용하신걸까요..? 

대회 결과에 필수적인 부분이긴 하지만 자료를 잘 찾아보지 못하겠어서 댓글 남깁니다.. 
다시한번 코드 공유에 감사드립니다!

LoraConfig 에서 target_modules은 정해져있는건가요 아니면 작성하는기준이 따로있는건가요?

질문 하나 추론하는데 얼마나 걸리셨나요??

Baseline 공유 감사드립니다!

혹시 pad토큰을 eos토큰으로 굳이 바꿔서 사용하신 이유가 있을지 여쭙고 싶습니다.

잉?? gpu 메모리 9기가로 이 10억짜리 파라미터 모델이 파인튜닝이 된다고요?? 뭔가 착각하신거 아니에요??