Construction Accident Prevention and Response Generation: Hansol Deco Season 3 Generative AI Competition

Algorithm | NLP | Generate AI | LLM | MLOps | Similarity

Prize : 10,000,000 KRW
1,367 Users Completed

Practice

Overview Data Code (share) Talk Leaderboard

Submission

학습 추론 시간 관련 질문

PoaTan

2025.02.28 18:17 1,005 Views

안녕하세요

이번에 대회를 참가하면서 finetuning하고 추론하는 과정에서 시간이 너무 많이 걸려서 문의 드립니다.

이전에도 LLM 파인튜닝을 해봤지만, 13B에도 이렇게까지 오래 걸리진 않은 것 같은데 이상하네요...

8bit로 양자화 했을 때 2000 step 학습하는데 45시간, 학습한 모델로 추론하는 경우 약 60시간 정도 걸리는데, 다른 분들도 저랑 비슷하게 걸리는지 궁금합니다.

감사합니다

4 Comments

comment

0 / 1000

AI_JH

2025.02.28 23:21

안녕하세요! 혹시 Baseline을 돌려보셨나요?
inference하는데 얼마나 걸리셨는지 알 수 있을까요?

PoaTan

2025.03.01 02:54

저는 로컬에서 돌리고 있습니다. 약 8시간 정도 걸리는 것 같습니다

Redix6

2025.03.01 12:02

아.. 길게 썻는데 로그인 때문에 날라갔네요.
짧게 쓰겠습니다. 배치사이즈 확인해보세요.

나는슬플때파이썬을해

2025.03.01 15:41

Deleted Comment

📣 The comment input field has been moved to the top of the comment list!

List

대회 TASK 질문 드립니다.

Competition - 건설공사 사고 예방 및 대응책 생성 : 한솔데코 시즌3 생성 AI 경진대회

Current

학습 추론 시간 관련 질문

Competition - 건설공사 사고 예방 및 대응책 생성 : 한솔데코 시즌3 생성 AI 경진대회

Likes 9

Comments 3

7달 전

submission.csv 제출 양식

Competition - 건설공사 사고 예방 및 대응책 생성 : 한솔데코 시즌3 생성 AI 경진대회