모델 튜닝 챌린지 : 월간 데이콘 파일럿

이번 대회는 '인공지능 모델 개발'이라는 측면에서는 부적절한 대회인 것 같네요.

2024.04.08 17:37 549 조회

일반적인 인공지능 대회에서는,

참가자들이 데이터를 분석하고 적절한 전처리 기법으로 데이터를 정제한 다음, 데이터에 맞는 인공지능 모델을 선정한 후,

모델의 일반화를 위해 적절한 cross-validation 기법을 선택하여 모델을 학습시키고, test 데이터셋에 대해 추론하여 결과를 제출하는 과정이 일반적입니다.


하지만, 이번 대회와 같이 모델 학습을 주최 측에서 진행하고 참가자들이 모델 학습을 위한 파라미터만을 제출하는 경우, public 순위와 private 순위를 차이를 보고 알 수 있듯이 결과가 운에 좌우될 가능성이 있습니다.

비록 주최 측이 사용하는 라이브러리와 운영체제의 버전을 명시했다 하더라도, 동일한 버전에서도 하드웨어의 seed 값에 따라 학습 결과에 차이가 발생할 수 있습니다.


오직 파라미터만 제출하는 튜닝 챌린지는 '인공지능 모델 개발'이라는 과정 속에서 참가자들이 배울 수 있는 것이 없다고 생각합니다.

따라서, 앞으로는 이런 대회는 주최하지 않았으면 합니다.

로그인이 필요합니다
0 / 1000
DACON.GM
2024.04.08 17:50

안녕하세요.
해당 대회에 대한 피드백 감사합니다.
이번 경진대회는 갓 입문 혹은 관심을 가지고 있는 초보자, 정규 대회에 쉽게 접근하기 힘든 데이커분들에게도 AI 모델 개발 과정 중 일부의 과정인 '모델 튜닝' 부분에 대해 일반적인 경진대회의 형식과는 다르게, 큰 진입 장벽 없이 경험해보실 수 있도록 기획하였으나 만족스러운 경진대회를 제공드리지 못했던 것 같습니다.
전달 주신 의견을 바탕으로 향후에는 더 좋은 경진대회를 기획할 수 있도록 노력하겠습니다.
감사합니다.
데이콘 팀, GM 드림

EISLab_이희원
2024.04.08 17:48

답변 감사합니다.

fvplfvociac
2024.04.08 18:19

1) 저로서는 재밌게, 또 부담없이(사실 csv만 열어서 다른 값을 수정하면 되니까요) 했긴했습니다. gini랑 entropy 바꾸는 것에 따라서 값이 달라지는 것도 꽤 재밌었구요. 저같은 초심자들에겐 괜찮았을 수도 있는 대회였으리라 봅니다. 여러 파라미터 값들을 부담없이 세팅해본 대회였네요.

 2) ai를 하다보면 늘 강건한 모델을 추구해야한다 하고, 그 강건한 모델링을 위해 하이퍼 파라미터를 세팅하는데, 근데 반대로 하이퍼 파라미터도 강건하거나 일반화 될수 있을까?란 생각을 했네요.이 생각에 비춰봤을 때 아마 대회 취지는 어떠한 데이터셋에서도 크게 영향받지 않는 강건한 하이퍼파라미터 구축을 해보라는 의도처럼 보였습니다. 

3) 근데 한 20번정도 제출하고나니까, 강건한 하이퍼파라미터라는게 가능한 것인가...? 라는 생각이 들었긴 했습니다  모델이 아닌 하이퍼파라미터 자체에 대한 validation... 어렴풋이 파라미터 하나 고정시키고 최대한 다른 것들을 바꿔가면서 파라미터 수치하나하나에 대한 성능(성능이 맞을까요?)평가를 할 순 있겠지만...  그렇게까지하진 않았지만 강건한 하이퍼파라미터는 한다면 이렇게 잡아봐야할 것 같습니다. 

4) 그래서 말씀주신대로 인공지능 개발대회 측면에서는 적절하지 않을 소지가 있다 생각합니다. 특히 하이퍼파라미터세팅이 kaggle이나 dacon 류 대회에서 score를 높히기 위한 수단으로 전락하는 경우도 있어서 괜히 나쁜습관(모델링 대신 하이퍼파라미터만 만지는)을 초심자들에게 심어주는게 아닐까란 우려도 있습니다. 

5) 그래도 30회이상, 그리고 private 스코어에서 상위권이신 분들은 강건한 하이퍼파라미터를 추구하려 했을 거라 생각합니다. 근데 제 등수 위로 30회 이상 제출한 분이 2분밖에 안계신걸 보면 강건한 하이퍼파라미터는 설정할 수 없는 걸까요? shake up은 늘 있을 수 있지만 그래도 좋은 대회는 private 상위권에도 많이 제출한 사람이 꽤 있는 대회가 아닐까 싶습니다.

EISLab_이희원
2024.04.08 18:25

제가 kaggle에서 개최되는 머신러닝 대회에도 많이 참가해 보았습니다.
제 경험상 '강건한 하이퍼파라미터'는 없습니다.
kaggle에서도 참가자들은 shake up을 예방하기 위해 다양한 전처리 방법, cross-validation 방법 등을 사용하였습니다.