분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
klue/bert pretrain사용시 test leakage 관련 문의
안녕하세요. 항상 좋은대회 열어주셔서 감사합니다.
다름이 아니라 이 대회의 데이터셋은 모두 오픈된 데이터 셋인건 다들 아실겁니다.
그리고 klue/xxmodel pretrain 모델들 또한 이미 공개가 되어있습니다.
하지만 이 pretrain 모델들은 논문상에서 공개한 ynat-v1_train.json , klue 데이터로 학습한 모델이고, 이 train 파일에는 이 대회의 test가 모두 포함되어 있습니다.
결국 이 klue pretrain을 사용했을 경우 보통의 bert모델에 비해 뛰어난 성능 향상을 보일 뿐만 아니라 test data leakage에 해당하고, 실격사유가 될것이라 생각합니다.
이에 대한 조치를 확실하게 해주시면 감사하겠습니다.
DACON Co.,Ltd | CEO Kookjin Kim | 699-81-01021
Mail-order-sales Registration Number: 2021-서울영등포-1704
Business Providing Employment Information Number: J1204020250004
#901, Eunhaeng-ro 3, Yeongdeungpo-gu, Seoul 07237
E-mail dacon@dacon.io |
Tel. 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
Deleted Comment