처음 LLM을 접해보는데, 모르는게 많아 생소하고 어렵습니다 ㅜ.ㅜ

세상이 엄청 빠르게 변화하는데 못따라가는 느낌이네요.

모델을 고민하시는 분들은 아래의 링크가 있는지 알고 계셨는지 싶어서 올려드려요!

(사실 저는 몰라서 좀 방황했습니다.)

https://huggingface.co/spaces/upstage/open-ko-llm-leaderboard

SOLAR모델이 잘 나가는 것 같네요!

그리고 고수분들께 질문 좀 드릴려구요.

https://huggingface.co/docs/transformers/model_doc/llama2

위 링크 중

• A notebook on how to fine-tune Llama 2 in Google Colab using QLoRA and 4-bit precision. 🌎

를 통해서

beomi/llama-2-ko-7b 을 10 epoch쯤 돌리니, Public 0.675 겨우 달성했네요.

다들 파인튜닝 시 몇 epoch를 돌리시나요?

모델이 문제인지, 파라미터가 문제인지, epoch수가 부족했는지

복잡하고 어렵습니다.

서로 의견 공유했으면 해서 글 올립니다~!