2024 Samsung AI Challenge : Machine Learning Force Fields

알고리즘 | 채용 | 반도체 | 정형 | 회귀 | EF | OOD AUROC

  • moneyIcon Prize : 2,100만원
  • 483명 마감

1. 리더 보드

  • 평가 산식 1 : EF metric

Score = (RMSE of per-atom energy + λ_force * Axis-wise RMSE of force) * 1000

λ_force는 두 RMSE의 scale을 고려한 coefficient, λ=1/25


  • 평가 산식 2 : OOD AUROC

Out-of-distribution detection (OOD)

Model이 uncertainty를 잘 계산하고 있다면, Quantified uncertainty 만으로 in/out-of-distribution data 가 구분되어야함


※ 개발된 모델은 입력된 system의 energy와 예측된 energy에 대한 quantified uncertainty, interatomic force를 예측해야함


  • Private 리더보드 랭킹 산출 방식
  • 대회 종료 후, 참가자가 각자 최종 선택한 제출물로 채점된 Private 리더보드 공개와 함께 최종 순위를 공개
  • 평가 산식 1 (EF Metric) 순위 + 평가 산식 2 (OOD AUROC) 순위의 합이 최소가 되는 팀이 우승
순위의 합이 작을 수록 상위 등수 (Ex. EF Metric 순위 1위, OOD AUROC 순위 5위인 경우, 순위의 합은 총 6)
순위의 합이 동일할 경우 EF Metric 순위가 높은 팀이 우세


  • 주의사항
  • Public 리더보드는 EF metric 점수를 기준으로 갱신되어 표시됩니다.
  • Public 리더보드에 갱신된 제출물이 반드시 Private 리더보드 채점에 활용되는 것이 아니며, Private 리더보드에 채점될 제출물 1개를 반드시 대회 종료 전에 최종 선택해야 합니다.
  • 최종 선택하지 않는 경우에는 Public 리더보드의 가장 최근 갱신된 제출물로 자동 선택되어 Private 리더보드에 채점됩니다.


  • Public score : 전체 테스트 데이터 중 사전 샘플링된 30%
  • Private score : 전체 테스트 데이터 중 나머지 70%


2. 평가 방식

  • 1차 평가 : 리더보드 Private Score
  • 2차 평가 : Private Score 상위 10팀 코드 및 모 체크포인트 제출 후 코드 검증 및 시뮬레이션 평가
  • 제출한 코드와 시뮬레이션 결과에 대한 평가를 반영
  • 평가기준

  • 최종 평가시, 리더보드 점수 이외에도 제출한 모델을 사용할 경우, 실제 물리 시뮬레이션과의 정합성을 확인하는 정성 평가 진행
  • 정성 평가시, novelty / model Inference time을 추가로 고려


3. 개인 또는 팀 참여 규칙

  • 개인 또는 팀을 이루어 참여할 수 있습니다.
  • 개인 참가 방법 : 팀 신청 없이, 자유롭게 제출탭에서 제출 가능
  • 팀 참가 방법 : 팀 탭에서 가능, 상세 내용은 팀 탭에서 팀 병합 정책 확인
  • 팀 구성 방법: 팀 페이지에서 팀 구성 안내 확인
  • 팀 최대 인원: 3 명
  • 동일인이 개인 또는 복수팀에 중복하여 등록 불가

  

4. 외부 데이터 및 사전 학습 모델

  • 대회 제공 데이터 이외의 외부 데이터 사용 금지
  • 본 챌린지에서 제공하는 데이터 이외에 다른 학습 데이터 사용을 금지합니다.
  • 법적 제약이 없으며 논문으로 공개된 베이스의 사전 학습 모델(Pre-trained Model) 사용 가능
  • 참가자 본인이 외부 데이터로 사전 학습 모델을 추가 학습시켜 사용하는 것은 불가능
  • 추후 적발시 챌린지 수상이 취소될 수 있습니다.

 

5. 코드 및 PPT 제출 규칙

  • 대회 종료 후 2차 평가 대상자는 아래의 양식에 맞추어 코드와 모델 체크포인트, 코드 실행 방법이 담긴 자료를 dacon@dacon.io 메일로 기한 내에 제출
  • 제출한 코드는 Private Score 복원이 가능해야 함

o  코드에 ‘/data’ 데이터 입/출력 경로 포함

o  사용 가능 언어: Python

o  코드와 주석 인코딩: UTF-8

o  모든 코드는 오류 없이 실행되어야 함(라이브러리 로딩 코드 포함)

o  개발 환경(OS) 및 라이브러리 버전 기재

  • 제출 파일 목록

o Private Score 복원이 가능한 코드 파일

o Private Score 복원이 가능한 모델 weight 파일

o 솔루션 설명 PPT

o [중요] 팀원 전체의 재학증명서 또는 대체인증서류

  • 솔루션 설명 PPT 자료

o 자유 양식


6. 유의 사항

  • 1일 최대 제출 횟수: 3회
  • 사용 가능 언어: Python
  • 모든 csv 형식의 데이터와 제출 파일은 UTF-8 인코딩을 적용합니다.
  • 모델 학습과 추론에서 평가 데이터셋 정보 활용(Data Leakage)시 수상 제외
  • 모든 학습, 추론의 과정 그리고 추론의 결과물들은 정상적인 코드를 바탕으로 이루어져야하며, 비정상적인 방법으로 얻은 제출물들은 적발 시 규칙 위반에 해당됩니다.
  • 대회 기간 중 공개되는 순위(Public 리더보드)는 제출 파일의 EF 점수 기준으로 갱신됩니다.
  • 최종 순위(Private 리더보드)는 선택된 파일 중에서 채점되므로 참가자는 제출 창에서 자신이 최종적으로 채점 받고 싶은 파일 1개를 선택해야 합니다.
  • 대회 직후 공개되는 Private 랭킹은 최종 순위가 아니며 코드 검증 후 수상자가 결정됩니다.
  • 데이콘은 부정 제출 행위를 금지하고 있으며 데이콘 대회 부정 제출 이력이 있는 경우 평가가 제한됩니다. 자세한 사항은 아래의 링크를 참고해 주시기 바랍니다.

https://dacon.io/notice/notice/13

 

7. 토론(질문)

  • 대회 운영 및 데이터 이상에 관련된 질문 외에는 답변을 드리지 않고 있습니다. 기타 질문은 토론 페이지를 통해 자유롭게 토론해주시기 바랍니다.
  • 데이콘 답변을 희망하는 경우 토크 게시글 댓글로 질문을 올려 주시기 바랍니다.

예) [DACON 답변 요청] 시상식은 언제 열리나요?

Main Event Schedule

  1. 07.10

    Start Date

  2. 08.10

    Team Merger Deadline

  3. 08.10

    Close

1. 리더 보드

  • 평가 산식 1 : EF metric

Score = (RMSE of per-atom energy + λ_force * Axis-wise RMSE of force) * 1000

λ_force는 두 RMSE의 scale을 고려한 coefficient, λ=1/25


  • 평가 산식 2 : OOD AUROC

Out-of-distribution detection (OOD)

Model이 uncertainty를 잘 계산하고 있다면, Quantified uncertainty 만으로 in/out-of-distribution data 가 구분되어야함


※ 개발된 모델은 입력된 system의 energy와 예측된 energy에 대한 quantified uncertainty, interatomic force를 예측해야함


  • Private 리더보드 랭킹 산출 방식
  • 대회 종료 후, 참가자가 각자 최종 선택한 제출물로 채점된 Private 리더보드 공개와 함께 최종 순위를 공개
  • 평가 산식 1 (EF Metric) 순위 + 평가 산식 2 (OOD AUROC) 순위의 합이 최소가 되는 팀이 우승
순위의 합이 작을 수록 상위 등수 (Ex. EF Metric 순위 1위, OOD AUROC 순위 5위인 경우, 순위의 합은 총 6)
순위의 합이 동일할 경우 EF Metric 순위가 높은 팀이 우세


  • 주의사항
  • Public 리더보드는 EF metric 점수를 기준으로 갱신되어 표시됩니다.
  • Public 리더보드에 갱신된 제출물이 반드시 Private 리더보드 채점에 활용되는 것이 아니며, Private 리더보드에 채점될 제출물 1개를 반드시 대회 종료 전에 최종 선택해야 합니다.
  • 최종 선택하지 않는 경우에는 Public 리더보드의 가장 최근 갱신된 제출물로 자동 선택되어 Private 리더보드에 채점됩니다.


  • Public score : 전체 테스트 데이터 중 사전 샘플링된 30%
  • Private score : 전체 테스트 데이터 중 나머지 70%


2. 평가 방식

  • 1차 평가 : 리더보드 Private Score
  • 2차 평가 : Private Score 상위 10팀 코드 및 모 체크포인트 제출 후 코드 검증 및 시뮬레이션 평가
  • 제출한 코드와 시뮬레이션 결과에 대한 평가를 반영
  • 평가기준

  • 최종 평가시, 리더보드 점수 이외에도 제출한 모델을 사용할 경우, 실제 물리 시뮬레이션과의 정합성을 확인하는 정성 평가 진행
  • 정성 평가시, novelty / model Inference time을 추가로 고려


3. 개인 또는 팀 참여 규칙

  • 개인 또는 팀을 이루어 참여할 수 있습니다.
  • 개인 참가 방법 : 팀 신청 없이, 자유롭게 제출탭에서 제출 가능
  • 팀 참가 방법 : 팀 탭에서 가능, 상세 내용은 팀 탭에서 팀 병합 정책 확인
  • 팀 구성 방법: 팀 페이지에서 팀 구성 안내 확인
  • 팀 최대 인원: 3 명
  • 동일인이 개인 또는 복수팀에 중복하여 등록 불가

  

4. 외부 데이터 및 사전 학습 모델

  • 대회 제공 데이터 이외의 외부 데이터 사용 금지
  • 본 챌린지에서 제공하는 데이터 이외에 다른 학습 데이터 사용을 금지합니다.
  • 법적 제약이 없으며 논문으로 공개된 베이스의 사전 학습 모델(Pre-trained Model) 사용 가능
  • 참가자 본인이 외부 데이터로 사전 학습 모델을 추가 학습시켜 사용하는 것은 불가능
  • 추후 적발시 챌린지 수상이 취소될 수 있습니다.

 

5. 코드 및 PPT 제출 규칙

  • 대회 종료 후 2차 평가 대상자는 아래의 양식에 맞추어 코드와 모델 체크포인트, 코드 실행 방법이 담긴 자료를 dacon@dacon.io 메일로 기한 내에 제출
  • 제출한 코드는 Private Score 복원이 가능해야 함

o  코드에 ‘/data’ 데이터 입/출력 경로 포함

o  사용 가능 언어: Python

o  코드와 주석 인코딩: UTF-8

o  모든 코드는 오류 없이 실행되어야 함(라이브러리 로딩 코드 포함)

o  개발 환경(OS) 및 라이브러리 버전 기재

  • 제출 파일 목록

o Private Score 복원이 가능한 코드 파일

o Private Score 복원이 가능한 모델 weight 파일

o 솔루션 설명 PPT

o [중요] 팀원 전체의 재학증명서 또는 대체인증서류

  • 솔루션 설명 PPT 자료

o 자유 양식


6. 유의 사항

  • 1일 최대 제출 횟수: 3회
  • 사용 가능 언어: Python
  • 모든 csv 형식의 데이터와 제출 파일은 UTF-8 인코딩을 적용합니다.
  • 모델 학습과 추론에서 평가 데이터셋 정보 활용(Data Leakage)시 수상 제외
  • 모든 학습, 추론의 과정 그리고 추론의 결과물들은 정상적인 코드를 바탕으로 이루어져야하며, 비정상적인 방법으로 얻은 제출물들은 적발 시 규칙 위반에 해당됩니다.
  • 대회 기간 중 공개되는 순위(Public 리더보드)는 제출 파일의 EF 점수 기준으로 갱신됩니다.
  • 최종 순위(Private 리더보드)는 선택된 파일 중에서 채점되므로 참가자는 제출 창에서 자신이 최종적으로 채점 받고 싶은 파일 1개를 선택해야 합니다.
  • 대회 직후 공개되는 Private 랭킹은 최종 순위가 아니며 코드 검증 후 수상자가 결정됩니다.
  • 데이콘은 부정 제출 행위를 금지하고 있으며 데이콘 대회 부정 제출 이력이 있는 경우 평가가 제한됩니다. 자세한 사항은 아래의 링크를 참고해 주시기 바랍니다.

https://dacon.io/notice/notice/13

 

7. 토론(질문)

  • 대회 운영 및 데이터 이상에 관련된 질문 외에는 답변을 드리지 않고 있습니다. 기타 질문은 토론 페이지를 통해 자유롭게 토론해주시기 바랍니다.
  • 데이콘 답변을 희망하는 경우 토크 게시글 댓글로 질문을 올려 주시기 바랍니다.

예) [DACON 답변 요청] 시상식은 언제 열리나요?

Main Event Schedule

  1. 07.10

    Start Date
  2. 08.10

    Team Merger Deadline
  3. 08.10

    Close