안녕하세요

이번에 대회를 참가하면서 finetuning하고 추론하는 과정에서 시간이 너무 많이 걸려서 문의 드립니다.

이전에도 LLM 파인튜닝을 해봤지만, 13B에도 이렇게까지 오래 걸리진 않은 것 같은데 이상하네요...

8bit로 양자화 했을 때 2000 step 학습하는데 45시간, 학습한 모델로 추론하는 경우 약 60시간 정도 걸리는데, 다른 분들도 저랑 비슷하게 걸리는지 궁금합니다.

감사합니다