도배 하자 질의 응답 처리 : 한솔데코 시즌2 AI 경진대회

알고리즘 | 언어 | 생성형 AI | LLM | MLOps | QA | Cosine Similarity

Prize : 1,000만 원
1,459명 마감

Practice

Overview Data Code (share) Talk Leaderboard

Submission

[Public 0.6674 ] No Fine-tune / RAG

홍짜장

2024.01.30 18:04 5,558 Views language

Langchain의 RAG를 활용하여 Fine-tune 없이 진행한 결과입니다.
Colab(A100)을 활용하였기에 다소 작은 모델인 huggingface의 beomi/llama-2-ko-7b 을 사용했습니다.
더 큰 10b 모델의 경우 VRAM 40G의 용량에는 올릴 수 없더라구요. 대회 규정상 A100 80G X 2 인걸 감안한다면 다른 환경을 고려해보는 것도 좋을 것 같네요.
생각보다 리소스가 많이 드는 대회가 될 것 같습니다.

현업이 아닌 지나가는 한량 직장인이 올린 코드이니, 재미로만 봐주세요 :)

Code

Comments 8개

로그인이 필요합니다

comment

0 / 1000

chorysmind

2024.01.31 17:54

코랩 프로로 결제해서 쓰고 있는데 이 모델로 돌려보니 잘 안 되네요..
혹시 모델은 어디서 찾아서 갖고 왔는지 궁금합니다.

홍짜장

2024.01.31 18:02

저 또한 결제해서 A100 으로 시도했습니다!
Vram 문제이신지 확인이 안되어서 그런데, 오류가 난 코드와 에러로그를 보여주시겠어요?

chorysmind

2024.01.31 18:18

저는 코랩 프로 10$ 걸로 결제해서 코드 문제가 아니라 GPU RAM 초과 문제입니다.
모델을 찾으려고 하는데 어떻게 모델을 찾으셨는지 궁금해서 댓글 달았습니다.

홍짜장

2024.01.31 18:23

제 경우는 nlp를 해본게 오래인지라, gpt4 로 서치해본 결과 다음과 같은 링크를 얻었구요 https://en.content.upstage.ai/blog/insight/top-open-source-llms-2024

huggingface 에서 llama2 를 파인튜닝 해놓으신 모델이 있기에 사용해봤습니다 :)

chorysmind

2024.01.31 18:25

감사합니다!

SOYANCHAN

2024.02.04 20:08

감사합니다

Oak_tree

2024.02.07 16:33

너무 잘봤습니다. 코드 공유 감사해요 😊

지운지운

2024.02.08 08:27

LLM 분야를 처음 접해보는데 좋은 정보 감사합니다.