월간 데이콘 코드 유사성 판단 AI 경진대회

재현 구성 요건 문의

2022.06.07 23:50 1,659 조회

안녕하세요,

상하목장스누피팀의 안영진입니다.


재현 구성 요건은 다음 중 얼마나 충족시키는 게 좋을까요?

  1. random seed 고정
  2. 재현에 필요한 데이터셋 제출
  3. 결과물 재현에 필요한 앙상블 조합 방식 기록

결과물을 제출할 때, train / inference pipeline 외에도 1,2,3번을 지켜서 제출하는 것이 필요할 지 여쭤보고 싶습니다.


지난번 대회부터 개인적인 생각으로

최고 점수 제출물에 대한 재현 기준이 있으면 미리 준비를 잘 할 수 있지 않을까 생각했습니다.

좋은 대회 열어주셔서 감사하고, 항상 관리해주셔서 감사합니다.

로그인이 필요합니다
0 / 1000
DACONIO
2022.06.08 13:48

안녕하세요 안영진님,
일반적으로 제출된 코드를 통하여 재현성 검증이 이루어지며,
이 과정에서 나온 Ouput이 최종 Private score로 재현이 되어야 하는 것이 원칙입니다.
(재현된 Private score는 최종 Ranking에서 크게 변동이 없는 선에서 어느정도 오차는 허용합니다)
따라서 데이터 생성/로드 - 데이터 전처리 - 모델 학습 - 모델 추론(앙상블)의 파이프라인 모두 코드 제출(코드 공유)이 이루어져야합니다.
다음은 안영진님께서 문의해주신 세부 내용에 대한 답변입니다.
1. 최종 제출에 사용된 Random seed 역시 재현을 위하여 고정해주시는 것을 권유드립니다.
2. 별도로 코드 Pair쌍을 구성한 다음 모델 학습이 이루어지는 경우에,
생성된 새로운 데이터셋을 업로드 하는 것이 아닌 데이터 생성 코드를 올려주시면 됩니다.
3. 결과물 재현에 필요한 앙상블 조합 방식 역시, 최종 score가 재현이 될 수 있는 조합 방식을 코드로 제출해주시면 됩니다.

감사합니다.
데이콘 드림

snoop2head
2022.06.08 14:30

네 답변해주셔서 감사합니다!
데이터 생성 코드도 데이터셋과 함께 첨부하도록 하겠습니다.