Aimers 8th : Model Compression Online Hackathon

안녕하세요, LG Aimers 여러분.

데이콘입니다.

해커톤 운영 과정에서 운영진에 자주 들어오는 문의 목록과 답변(FAQ)을 정리하여 전달드립니다.

FAQ는 지속적으로 본 게시글에 업데이트될 예정입니다.

[팀 병합 관련]

1) 제출 횟수는 개인 기준인가요, 팀 기준인가요?

→ 개인 참가자도 1인 팀으로 간주됩니다.

따라서, 모든 제출 횟수 제한은 ‘팀 단위’ 기준으로 일 최대 3회로 고정됩니다.

2) 팀 병합시 제출 횟수 기준은 어떻게 되나요?

→ 팀 병합을 위해서는 각 팀원이 최소 1회 이상의 제출 이력이 필요합니다.

병합 가능 여부는 대회 경과일 n일 × 일일 최대 제출 수 3회 (= 3n회) 기준으로 판단합니다.

즉, 팀원 전체의 누적 제출 횟수 합이 3n회 이하인 날에만 병합 가능합니다.

예를 들어, 5명이 하나의 팀으로 병합을 진행하려는 경우,각 팀원은 최소 1회 이상의 제출 기록을 보유해야합니다.

금일(2/4) 기준으로 (대회 경과일 3일), 팀원 전체의 제출 횟수 합이 9회 이하라면 팀 병합이 가능합니다.

제출 횟수 합이 기준(금일 기준 9회)을 초과한 경우, 대회 경과일 증가에 따라 3n 기준을 충족하는 날에 팀 병합이 가능합니다.

즉, 현재 팀원 5명이 각각 9회씩 제출하여 제출 횟수 합이 45회라면, 45회=3n 을 만족하는 대회 경과일 15일(2월 16일)에 병합이 가능합니다.

(*단, 2월 16일까지 추가 제출이 없어야합니다.)

팀 병합은 마감 기한 내에만 가능하오니, 일정을 반드시 확인해 주시기 바랍니다.

• 팀 병합 마감: 2026년 2월 19일(목) 23:59

※ 일일 제출 횟수 제한은 평가 서버 부하를 안정적으로 관리하고, 과도한 반복 제출을 제한하여 참가자 간의 기회 균형을 유지하기 위해 운영됩니다.

[규칙 관련]

1) 모델 경량화 및 성능 유지·향상을 위한 추가 학습/튜닝이 가능한가요?

→ 본 해커톤 규칙에 명시된 내용을 준수하여 참여해 주시면 됩니다. 

해커톤 규칙에 따라 모델 경량화뿐만 아니라 기본 모델 성능의 유지 또는 향상을 목적으로 추가 학습 또는 파라미터 튜닝을 수행할 수 있습니다.(대회 규칙 4)

2)  EXAONE-4.0-1.2B를 베이스로 한 허깅페이스 공개 모델을 가져와 추가 학습이나 경량화를 진행해도 되나요?

→ 제출 모델은 EXAONE-4.0-1.2B로부터 참가자가 직접 파생한 경량화 모델로 한정됩니다.

따라서 이미 경량화해 배포된 파생 모델을 그대로 가져와 경량화 방법을 적용하는 것은 불가합니다.

[라이선스 / 외부 데이터 관련]

1) 외부 데이터/모델을 학습(캘리브레이션·튜닝·증류 등)에 사용해도 되나요?

→ 가능합니다. 단, 최소한 비상업적 이용이 허용된 라이선스(CC BY-NC, CC0 등) 로 배포된 데이터/모델만 사용할 수 있습니다.

(라이선스 준수 책임은 참가자에게 있습니다.)

2) CC BY-ND 라이선스 데이터셋도 사용 가능한가요?

→ 사용 가능한 범위에 포함됩니다. 다만 데이터/라이선스별 조건은 상이할 수 있으므로 원문 라이선스 조건을 반드시 확인해 주세요.

[제출 관련]

1) '제출 오류'에 대한 정확한 오류를 알고 싶어요.

→ 제출 결과가 '실행 시간 제한 초과'로 표시되는 경우, 대부분 모델 추론 시간이 평가 서버의 전체 실행 시간 제한(20분)을 초과한 경우에 해당합니다.

평가 서버에서는 모든 제출물이 동일하게 구축된 내부 script.py로 실행되며, 모델 로드 → 벤치셋 전체 추론 → 결과 파싱 및 지표 산출의 과정으로 구성되어 있습니다.

이 중 어느 단계에서든 전체 실행 시간이 제한을 초과할 경우, 시간 초과로 처리됩니다.

에러 로그를 활용한 악용 등의 치팅 방지를 위해, 제출별 상세 로그나 내부 에러 원인은 별도로 제공되지 않습니다.

다만, 운영 과정에서 확인되는 일반적인 제출 실패 원인(대표 사례) 은 아래와 같습니다.

• 추론 시간 초과 (시간초과)
• 평가 서버의 전체 실행 시간 제한(20분을 초과하는 경우입니다.
• 평가 서버 환경에서의 실행/호환 문제
• 본 대회에서 제공하는 평가 서버(NVIDIA L4 GPU) 고정 환경에서 모델 로드 또는 실행이 정상적으로 이루어지지 않는 경우, 제출물은 정상 채점이 완료되지 않을 수 있습니다.
• 토크나이저 로딩/설정 오류
• 토크나이저 설정 불일치 또는 구성 요소 문제로 로딩·실행 단계에서 실패하는 경우가 있습니다.
• vLLM 로딩 과정에서의 구성/설정 불일치
• 제출물 구성 요소 누락, 경로/구조 불일치, 또는 모델 설정(config) 불일치로 vLLM 초기화 단계에서 오류가 발생할 수 있습니다.
• (예: ModelConfig / VllmConfig 관련 ValidationError)
• 채점 서버 고정 옵션과의 비호환
• 채점 서버에는 vLLM 옵션이 고정 적용되며, 해당 조건에서 실행 가능한 설정/구성이 충족되지 않으면 오류가 발생할 수 있습니다.

2) 동일한 제출물인데도 점수가 달라질 수 있나요?

→ 안내된 내용과 같이, LLM 기반 모델의 비결정적 실행 특성 및 평가 서버 환경(시스템 부하/스케줄링 등)에 따라 동일 제출물이라도 일정 수준의 점수 변동이 발생할 수 있습니다.

평가 서버에서 실제로 측정·기록된 리더보드 점수만을 공식 성능으로 인정합니다.

3) 제출 실패인데 제출 횟수가 차감됬어요.

→ 제출 실패는 실행 오류(script.py 실행 후 발생하는 오류/시간초과 등)를 의미하며, 이는 일일 제출 횟수 반영됩니다.