저두 본업이 매우 바빠져서, 많이 진행을 못했습니다. 특히, RAG기반을 제대로 적용을 해보지 못한게 좀 아쉽긴합니다.
코랩을 사용하지는 않았고, 보유한 8GB VRAM GPU로 가능한 7B (qLora)모델까지 시도해 보았으나,
qLora 로는 baseline 모델(skt-gpt2)보다 뛰어난 점이 없이 거의 비슷했습니다.
qLora 를 사용하지 않는 방법으로는 1.3B 모델이 최대인 듯 했으나,
이 역시도 skt-gpt2와 같은 알고리즘이라서 인지 몰라도 성능향상이 크지는 않더군요.
단순 RAG 기반으로 시도도 하였으나 점수가 차이가 없더군요. 본업이 바빠져서 더 시도해보지 못했습니다.
혹시, 높은 점수를 얻으신 분들은 어떻게 얻으셨는지 궁금합니다.