월간 데이콘 뉴스 토픽 분류 AI 경진대회

알고리즘 | NLP | 분류 | 자연어 | Accuracy

 

test leakage 확인 문의

2021.07.28 19:04 1,377 조회

안녕하세요,


사용금지 모델로 공지해주신 klue-tc-bert-base-multilingual-cased 이외에도

댓글로 이광한님 께서 지적하신 yobi/klue-roberta-base-ynat에 대해서

일주일이 지나도록 아무런 말씀이 없어보여 학습후 제출해보았는데

점수가 굉장히 많이 오른 것으로 보아 test leakage가 된것이 아닌지 많이 의심됩니다.


혹시 이 모델 또한 사용이 불가하다면 '2021-07-28 18:56:46' 번호 (562525)  제출  파일 취소 및 기록  삭제 요청 부탁드립니다.

로그인이 필요합니다
0 / 1000
DACONIO
2021.07.28 21:04

안녕하세요 chiricuto님

현재 chiricuto님의 리더보드 점수는 다른 참가자분들의 대회 참가에 지장이 없도록 숨김처리를 해놓은 상태입니다.
또한 지금까지 data leakage가 의심되는 모델을 사전에 문의하지 않고 사용해서 리더보드에 점수를 올린 참가자분들은 data leakage에 의한 규칙 미준수로 리더보드 점수를 복원하는 것을 금지하고 있습니다. chiricuto님의 리더보드 점수 복원을 원하시는 경우 data leakage 없이 현재 가장 높은 점수를 복원할 수 있는 코드를 dacon@dacon.io로 보내주셔야 합니다.

감사합니다.
데이콘 드림.

chiricuto
2021.07.29 00:44

네 답변 감사합니다.
다만, 데이콘에서 참가자들로부터 받은 data leakage가 의심되는 모델들에 대한 문의 검토결과를
사용불가모델 공지사항을 계속적으로 업데이트하여 참여자들이 공유할 수 있도록 해주시면 더 좋을 것 같습니다.
또한 'yobi/klue-roberta-base-ynat' 모델에 대해서도 사용가능 여부에 대한 명확한 답변을 공지해 주시면 감사드립니다.