분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
klue/bert pretrain사용시 test leakage 관련 문의
안녕하세요. 항상 좋은대회 열어주셔서 감사합니다.
다름이 아니라 이 대회의 데이터셋은 모두 오픈된 데이터 셋인건 다들 아실겁니다.
그리고 klue/xxmodel pretrain 모델들 또한 이미 공개가 되어있습니다.
하지만 이 pretrain 모델들은 논문상에서 공개한 ynat-v1_train.json , klue 데이터로 학습한 모델이고, 이 train 파일에는 이 대회의 test가 모두 포함되어 있습니다.
결국 이 klue pretrain을 사용했을 경우 보통의 bert모델에 비해 뛰어난 성능 향상을 보일 뿐만 아니라 test data leakage에 해당하고, 실격사유가 될것이라 생각합니다.
이에 대한 조치를 확실하게 해주시면 감사하겠습니다.
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
직업정보제공사업 신고번호: J1204020250004
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io |
전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
삭제된 댓글입니다