[답변요청] LLM 대회 관련 질문드립니다.

도배 하자 질의 응답 처리 : 한솔데코 시즌2 AI 경진대회

sybae

2024.03.06 13:11 1,044 조회

안녕하세요, 대회 진행 중 문의사항 남깁니다.

1. Inference 속도 또한 평가에 포함되는지 궁금합니다.

2. Pre-triained된 모델의 기준이 어떻게 되나요?

규칙을 보면 "사용에 법적 제약이 없으며, 오픈소스로 공개된 사전 학습 모델(Pre-trained Model) 사용 가능"이라고 적혀있습니다.

LDCC나 Solar-Instruct은 경우 Solar Pre-trained된 모델이 파인튜닝된 모델이며, 파인튜닝 된 모델까지 허용가능한 Pre-trained된 모델인지 궁금합니다.

3. 외부 데이터 사용의 경우 모든 출처를 밝혀야 하는지 궁금합니다.

ex) 크롤링 된 데이터 주소, 블로그 주소, sns 등...

4. 평가 기준 중 모델서빙이 의미하는 게 구체적으로 무엇인지 궁금합니다.

댓글 3개

로그인이 필요합니다

comment

0 / 1000

DACON.GM

2024.03.06 14:11

1. Inference 속도를 직접적이고 정량적으로 평가하는 항목은 없으나, 적용 가능성 - '서빙 프로세스 제안' 항목 내에 얽혀있는 부분이므로 간접적으로 평가될 수 있습니다.
2. 파인튜닝된 모델의 사용 여부는 기본적으로 원본 사전 학습 모델의 라이센스와 조건을 따릅니다. 만약 원본 모델이 법적 제약 없이 오픈소스로 공개되었으며, 해당 모델을 기반으로 한 파인튜닝 작업이 동일한 또는 호환되는 라이센스 하에 이루어졌다면, 파인튜닝된 모델 역시 사용이 가능할 수 있습니다.
3. 외부 데이터 사용의 경우, 모든 출처를 밝혀야합니다. 크롤링을 활용하였을 경우에는 크롤링 코드를 포함하여 제출해야 합니다.
4. 해당 평가 항목은 본인 팀의 모델을 실제 서비스하기 위해서 수행해야하는 프로세스를 제안하는 것입니다. 즉 제안한 프로세스를 바탕으로 '실제 서빙이 가능한 모델/솔루션인지 정성 평가' 하는 항목이라고 이해해주시면 되겠습니다.

sybae

2024.03.06 15:08

답변 감사합니다!
추가적으로 4번 항목의 경우 실제 서비스하기 위해서 수행해야하는 프로세스라고 했는데, 프로세스가 데이터 전처리, 모델 학습, 모델 인퍼런스, 답변 출력의 범위만을 의미하는지 아니면 모델 배포 등 MLOps 전반의 과정을 의미하는지 궁금합니다..!

DACON.GM

2024.03.06 15:20

모델 배포 등 MLOps 전반의 과정입니다.
관련하여 이전 한솔데코 시즌1 경진대회의 경우에도, 동일한 평가 항목이 있었으며 [https://dacon.io/competitions/official/236082/codeshare] 에서 참고하실 수 있습니다.

📣 댓글 작성 창의 위치가 댓글 리스트 상단으로 이동하였습니다!