HAICon2021 산업제어시스템 보안위협 탐지 AI 경진대회

[제출 횟수 및 팀 최대 인원]

• 최대 제출 횟수: 1일 3회
• 팀 최대 인원: 5명

[참가 방법]

• 개인: 별도 팀 신청없이 결과를 제출
• 팀: 팀 탭에서 등록 후 팀장 또는 팀원이 결과를 제출 (상세 내용은 팀 탭에서 팀 병합 정책 확인)
• 동일인이 개인 또는 복수팀에 중복하여 등록 불가

[데이터]

• 대회용 데이터셋만 사용 가능 
• 학습 데이터셋: 정상 운영 중인 상황에 수집된 공정 데이터
• 검증 데이터셋: 검증을 위한 공격 상황을 포함하는 공정 데이터로, 공격라벨을 제공
• 평가 데이터셋: 평가를 위한 공격 상황을 포함하는 공정 데이터로, 이에 대한 탐지결과를 제출

[진행 방식]

1. 데이터: 대회 홈페이지를 통해 대회용 데이터를 다운

2. 모델 학습: 학습 데이터셋만을 사용하여 모델을 학습

3. 모델 검증: 검증 데이터셋과 평가도구(eTaPR)를 이용하여 모델 성능을 검증

• 평가도구 'etapr.evalute_haicon()' 함수만을 사용하여 평가(코드공유 탭의 baseline 코드 참조)
• 평가도구 관련 내용은 토크 탭의 "TaPR설명서" 게시물을 참조

4. 결과 제출: 평가 데이터셋에 대한 모델의 탐지결과를 도출하여 제출

• 탐지결과는 "sample_submission.csv"양식에 맞게 제출
• 첫번째 컬럼: 시각 (평가 데이터셋의 시각과 일치해야 함)
• 두번째 컬럼: 탐지결과 (정상: '0', 비정상: '1')

5. 평가 방식  

• 평가산식: eTaPR 
• Public scoring: 평가 데이터셋 중 약 50%에 대한 평가점수, 리더보드 공개
• Private scoring: 평가 데이터셋 중 100%에 대한 평가점수, 대회 종료 직후 공개
• 최종 선택된 탐지결과에 대해서만 private scoring 진행

6. 수상자 선정

• 대상: Private score 상위 15개팀
• 기준: Private score가 높은 순으로 최종 순위를 결정
• 심사: 서류/발표심사를 통한 모델 재현여부/치팅여부 등 종합 심사
• 참고:
• 모델 재현점수가 private score보다 낮은 경우 재현점수를 기준으로 결정
• 동점팀은 최종 선택된 탐지결과의 제출시간이 빠른 순으로 팀 순위를 결정
• 특별상 선정
• 창의적 아이디어 제시, 실패 사례 공유 등 차별성 심사 

[유의사항]

• 모델 학습과정에 검증/평가 데이터셋(또는 그 일부) 사용 시 실격 처리됩니다.
• 예) 검증 데이터셋 내에 있는 정상 데이터를 일부 샘플링하여 학습에 사용하는 경우 등
• 모델 검증/평가에서 결과 예측시점보다 미래의 데이터를 사용할 수 없습니다.
• 검증 데이터셋 사용은 다음 경우를 제외하고 허용됩니다.
• 검증 데이터셋을 모델 학습의 입력으로 사용하는 경우
• 검증 데이터셋의 라벨(정상/공격)을 학습 과정에 활용하는 경우

[코드 및 설명자료 제출]

• 제출 대상: Private score 1~15위팀
• 소스코드 제출:
• 최종 제출 결과물 복원이 가능하여야 함
• 실행 가능한 형태 - 활용 라이브러리와 모듈 등을 포함한 requirements.txt 파일 첨부
• 코드 설명 및 사용방법을 포함하는 파일(README.txt) 포함
• 데이터 입출력 경로('./data') 포함
• 코드 파일 확장자: .R, .rmd, .py, .ipynb
• 코드 인코딩: UTF-8
• 설명자료 제출:
• 별도 안내되는 작성 가이드를 참고하여 제출

[토론/질문]

• 해당 대회에서는 대회 운영 및 데이터 이상에 관련된 질문 외에는 답변하지 않을 예정입니다. 결측치 처리 방법, 모델 구성 방법 등 대회 운영 및 데이터 이상 외 질문은 토크 페이지를 통해 자유롭게 토론해주시기 바랍니다.
• 데이콘 답변을 희망하는 경우 [대회문의] 페이지에 질문을 올려 주시기 바랍니다.