전 그나마 상금없는 대회지만.. 선생님은 정말 더 힘드실것같습니다..

캐글이 shake up에 대해서 결과를 수정한 일이 있었나요?
저는 오히려 shake up을 유도하는 경향이 있다고 느끼는데...

@NN_is_all_you_need 제가 수상했던 LLM 대회를 기준으로 말씀드리면, 동일 코드를 제출해도 LLM 특성상 score가 왔다갔다하는 대회였습니다.
최종 점수에서 걱정이 많았는데, 이후 discussion을 통해 대회 마감 후 최종 private은 내부 서버에서 여러 번 돌리는 방식으로 수정되었고 꽤나 안정적으로 결과가 나왔던 것으로 기억하고 있습니다.

마지막문단에 말씀드렸습니다만.. 입문자들을 대상으로한 대회라는 취지에 부합하지않는점을 말씀드린겁니다.
저도 입문자 입장이지만 기업대회나 월간데이콘 같은 대회는 수준높은 이론이나 논문베이스로 리더보드보다 과적합에 신경쓰시겠고 그에 대해선 매우 동의합니다
하지만 이 대회는 대놓고 입문자용 대회라 해놓고 이러는게 말이 안된다는거죠.
입문자들이 과적합됐을거라고 짐작은 한다해도 리더보드상의 점수가 더 눈에 밟히지않겠습니까?
한 예로 저번 갑상선대회에선 거의 찍다싶이한 모델이 상위권을 다 먹었습니다.. 점수분포가 너무 극단적으로 한값으로 몰려있는데 정상적이라곤 생각할수가없죠.
결론은 대회취지에 맞게 데이터셋 정제를 신경을 쓰거나 정규대회로 인정해줬으면 하는겁니다. 입문용대회에서 이정도로 지나치게 shake-up이되면 입문이 될까싶네요. 

@해가울면해운대 입문용 대회는 그런 점에서 개인적으로 target 값 기준으로 stratified sampling만 해도 이런 문제는 방지할 수 있다고 생각되긴 합니다. 

그전략도 사용해봤지만 웬만한 불균형도 아니고 천몇개의 타겟중에 단 6개밖에없는 타겟도 존재했기에 사실상 smote도 적용하기 힘들었고 적용한다해도 LB와 CV 격차가 더 커져서 의미가 없다고 판단했습니다..

cv는 optuna 돌렸을 때 0.85~0.88나왔습니다. 다만.. cv랑 관계없이 예측은 거의 동일했습니다.  데이터도 별로없고 희소클래스의 비율이 극심해서인지모르겠지만..ㅠ