분자구조 이미지 SMILES 변환 AI 경진대회

채점 기준에 관한 질문있습니다.

2020.10.08 11:22 5,711 Views

대회 종료가 눈앞에 왔습니다.

채점에 관해서 질문드릴 것이 있어서 글남깁니다.


  1. 비공개데이터셋 점수를 산정을 위한 inference는 내부에서 진행하시나요? 아니면 대회가 종료하고 비공개데이터셋을 공개하시면 저희가 inference를 해서 결과를 드려야하나요?
  2. 일부 inference 결과에서 어떤 seed를 썼는지 잃어버렸습니다. 난수가 달라지면 inference단에서 나오는 결과도 달라져서 모델 파일로 다시 inference를 진행해도 완전히 같은 결과를 재구성할 수 없는 상황입니다. "제출하는 inference script로 제출한 이만개 데이터셋와 완전히 같은 결과를 복원하지 못하면 해당사항에 대한 감점이 있나요? 있다면 정확하게 몇점인가요?" (감점이 몇점인지를 알아야 저희가 잃어버린 경우를 제외하고 제출을 진행할지에 대한 전략을 세울 수 있어서 명확하게 밝혀주셨으면 합니다)


감사합니다.

로그인이 필요합니다
0 / 1000
DACONIO
2020.10.10 07:11

안녕하세요.
비공개 데이터셋은 제출한 모델과 코드를 이용하여 내부에서 진행합니다.
채점 기준은 리더보드 순위 변동이 없는 수준에서 발생하는 차이로 인한 감점은 없습니다.
감사합니다.