HAICon2021 산업제어시스템 보안위협 탐지 AI 경진대회

알고리즘 | 정형 | 이상탐지 | 제어 | TaPR

  • moneyIcon 상금 : 총 2,000만원
  • 878명 마감

[제출 횟수 및 팀 최대 인원]

  • 최대 제출 횟수: 1일 3회
  • 팀 최대 인원: 5명


[참가 방법]

  • 개인: 별도 팀 신청없이 결과를 제출
  • 팀: 탭에서 등록 후 팀장 또는 팀원이 결과를 제출 (상세 내용은 탭에서 팀 병합 정책 확인)
  • 동일인이 개인 또는 복수팀에 중복하여 등록 불가


[데이터]

  • 대회용 데이터셋만 사용 가능 
  • 학습 데이터셋: 정상 운영 중인 상황에 수집된 공정 데이터
  • 검증 데이터셋: 검증을 위한 공격 상황을 포함하는 공정 데이터로, 공격라벨을 제공
  • 평가 데이터셋: 평가를 위한 공격 상황을 포함하는 공정 데이터로, 이에 대한 탐지결과를 제출


[진행 방식]

1. 데이터: 대회 홈페이지를 통해 대회용 데이터를 다운

2. 모델 학습: 학습 데이터셋만을 사용하여 모델을 학습

3. 모델 검증: 검증 데이터셋과 평가도구(eTaPR)를 이용하여 모델 성능을 검증

  • 평가도구 'etapr.evalute_haicon()' 함수만을 사용하여 평가(코드공유 탭의 baseline 코드 참조)
  • 평가도구 관련 내용은 토크 탭의 "TaPR설명서" 게시물을 참조

4. 결과 제출: 평가 데이터셋에 대한 모델의 탐지결과를 도출하여 제출

  • 탐지결과는 "sample_submission.csv"양식에 맞게 제출
  • 첫번째 컬럼: 시각 (평가 데이터셋의 시각과 일치해야 함)
  • 두번째 컬럼: 탐지결과 (정상: '0', 비정상: '1')

5. 평가 방식  

  • 평가산식: eTaPR 
  • Public scoring: 평가 데이터셋 중 약 50%에 대한 평가점수, 리더보드 공개
  • Private scoring: 평가 데이터셋 중 100%에 대한 평가점수, 대회 종료 직후 공개
  • 최종 선택된 탐지결과에 대해서만 private scoring 진행

6. 수상자 선정

  • 대상: Private score 상위 15개팀
  • 기준: Private score가 높은 순으로 최종 순위를 결정
  • 심사: 서류/발표심사를 통한 모델 재현여부/치팅여부 등 종합 심사
  • 참고:
  • 모델 재현점수가 private score보다 낮은 경우 재현점수를 기준으로 결정
  • 동점팀은 최종 선택된 탐지결과의 제출시간이 빠른 순으로 팀 순위를 결정
  • 특별상 선정
  • 창의적 아이디어 제시, 실패 사례 공유 등 차별성 심사 


[유의사항]

  • 모델 학습과정에 검증/평가 데이터셋(또는 그 일부) 사용 시 실격 처리됩니다.
  • 예) 검증 데이터셋 내에 있는 정상 데이터를 일부 샘플링하여 학습에 사용하는 경우 등
  • 모델 검증/평가에서 결과 예측시점보다 미래의 데이터를 사용할 수 없습니다.
  • 검증 데이터셋 사용은 다음 경우를 제외하고 허용됩니다.
  • 검증 데이터셋을 모델 학습의 입력으로 사용하는 경우
  • 검증 데이터셋의 라벨(정상/공격)을 학습 과정에 활용하는 경우


[코드 및 설명자료 제출]

  • 제출 대상: Private score 1~15위팀
  • 소스코드 제출:
  • 최종 제출 결과물 복원이 가능하여야 함
  • 실행 가능한 형태 - 활용 라이브러리와 모듈 등을 포함한 requirements.txt 파일 첨부
  • 코드 설명 및 사용방법을 포함하는 파일(README.txt) 포함
  • 데이터 입출력 경로('./data') 포함
  • 코드 파일 확장자: .R, .rmd, .py, .ipynb
  • 코드 인코딩: UTF-8
  • 설명자료 제출:
  • 별도 안내되는 작성 가이드를 참고하여 제출


[토론/질문]

  • 해당 대회에서는 대회 운영 및 데이터 이상에 관련된 질문 외에는 답변하지 않을 예정입니다. 결측치 처리 방법, 모델 구성 방법 등 대회 운영 및 데이터 이상 외 질문은 토크 페이지를 통해 자유롭게 토론해주시기 바랍니다.
  • 데이콘 답변을 희망하는 경우 [대회문의] 페이지에 질문을 올려 주시기 바랍니다.

대회 주요 일정

  1. 08.02

    팀 등록 및 Warm-up 시작

  2. 08.13

    Warm-up 종료

  3. 08.17

    대회 시작

  4. 10.15

    팀 병합 마감

  5. 10.22

    결과제출 마감

  1. 10.27

    코드제출 마감

  2. 11.12

    최종 평가 발표

[제출 횟수 및 팀 최대 인원]

  • 최대 제출 횟수: 1일 3회
  • 팀 최대 인원: 5명


[참가 방법]

  • 개인: 별도 팀 신청없이 결과를 제출
  • 팀: 탭에서 등록 후 팀장 또는 팀원이 결과를 제출 (상세 내용은 탭에서 팀 병합 정책 확인)
  • 동일인이 개인 또는 복수팀에 중복하여 등록 불가


[데이터]

  • 대회용 데이터셋만 사용 가능 
  • 학습 데이터셋: 정상 운영 중인 상황에 수집된 공정 데이터
  • 검증 데이터셋: 검증을 위한 공격 상황을 포함하는 공정 데이터로, 공격라벨을 제공
  • 평가 데이터셋: 평가를 위한 공격 상황을 포함하는 공정 데이터로, 이에 대한 탐지결과를 제출


[진행 방식]

1. 데이터: 대회 홈페이지를 통해 대회용 데이터를 다운

2. 모델 학습: 학습 데이터셋만을 사용하여 모델을 학습

3. 모델 검증: 검증 데이터셋과 평가도구(eTaPR)를 이용하여 모델 성능을 검증

  • 평가도구 'etapr.evalute_haicon()' 함수만을 사용하여 평가(코드공유 탭의 baseline 코드 참조)
  • 평가도구 관련 내용은 토크 탭의 "TaPR설명서" 게시물을 참조

4. 결과 제출: 평가 데이터셋에 대한 모델의 탐지결과를 도출하여 제출

  • 탐지결과는 "sample_submission.csv"양식에 맞게 제출
  • 첫번째 컬럼: 시각 (평가 데이터셋의 시각과 일치해야 함)
  • 두번째 컬럼: 탐지결과 (정상: '0', 비정상: '1')

5. 평가 방식  

  • 평가산식: eTaPR 
  • Public scoring: 평가 데이터셋 중 약 50%에 대한 평가점수, 리더보드 공개
  • Private scoring: 평가 데이터셋 중 100%에 대한 평가점수, 대회 종료 직후 공개
  • 최종 선택된 탐지결과에 대해서만 private scoring 진행

6. 수상자 선정

  • 대상: Private score 상위 15개팀
  • 기준: Private score가 높은 순으로 최종 순위를 결정
  • 심사: 서류/발표심사를 통한 모델 재현여부/치팅여부 등 종합 심사
  • 참고:
  • 모델 재현점수가 private score보다 낮은 경우 재현점수를 기준으로 결정
  • 동점팀은 최종 선택된 탐지결과의 제출시간이 빠른 순으로 팀 순위를 결정
  • 특별상 선정
  • 창의적 아이디어 제시, 실패 사례 공유 등 차별성 심사 


[유의사항]

  • 모델 학습과정에 검증/평가 데이터셋(또는 그 일부) 사용 시 실격 처리됩니다.
  • 예) 검증 데이터셋 내에 있는 정상 데이터를 일부 샘플링하여 학습에 사용하는 경우 등
  • 모델 검증/평가에서 결과 예측시점보다 미래의 데이터를 사용할 수 없습니다.
  • 검증 데이터셋 사용은 다음 경우를 제외하고 허용됩니다.
  • 검증 데이터셋을 모델 학습의 입력으로 사용하는 경우
  • 검증 데이터셋의 라벨(정상/공격)을 학습 과정에 활용하는 경우


[코드 및 설명자료 제출]

  • 제출 대상: Private score 1~15위팀
  • 소스코드 제출:
  • 최종 제출 결과물 복원이 가능하여야 함
  • 실행 가능한 형태 - 활용 라이브러리와 모듈 등을 포함한 requirements.txt 파일 첨부
  • 코드 설명 및 사용방법을 포함하는 파일(README.txt) 포함
  • 데이터 입출력 경로('./data') 포함
  • 코드 파일 확장자: .R, .rmd, .py, .ipynb
  • 코드 인코딩: UTF-8
  • 설명자료 제출:
  • 별도 안내되는 작성 가이드를 참고하여 제출


[토론/질문]

  • 해당 대회에서는 대회 운영 및 데이터 이상에 관련된 질문 외에는 답변하지 않을 예정입니다. 결측치 처리 방법, 모델 구성 방법 등 대회 운영 및 데이터 이상 외 질문은 토크 페이지를 통해 자유롭게 토론해주시기 바랍니다.
  • 데이콘 답변을 희망하는 경우 [대회문의] 페이지에 질문을 올려 주시기 바랍니다.

대회 주요 일정

  1. 08.02

    팀 등록 및 Warm-up 시작
  2. 08.13

    Warm-up 종료
  3. 08.17

    대회 시작
  4. 10.15

    팀 병합 마감
  5. 10.22

    결과제출 마감
  6. 10.27

    코드제출 마감
  7. 11.12

    최종 평가 발표