현 상황에 대한 의견 공유

HD현대 AI Challenge

현 상황에 대한 의견 공유

EISLab_이희원

2023.10.17 16:41 1,900 Views

지금 대회가 3주 이상 진행되었고, 지금 데이터셋을 수정해봤자 참가자들이 제출한 파일을 삭제하는 작업이 필요할 것입니다.

하지만, 단순히 MAE 점수만 보고 미래 시점 반영 여부를 적용했는지 판단하기 어렵습니다.(정확히 어느 점수부터인지)

단순히 feature engineering을 통해 성능을 끌어올린 제출물인지?
미래 시점을 반영하여 학습을 통해 제출한 제출물인지?

그래서, 지금 상황에서는 데이터셋을 그대로 놔두고, train dataset에서 계산한 미래 시점을 test dataset에 어떻게 반영시킬지가 순위를 가리는 중요한 아이디어라고 생각됩니다.

따라서, 이번 예선 대회에서는 그대로 진행하시고, 본선 대회에서는 오류를 수정한 데이터셋으로 진행하는 것이 좋을 것 같습니다.

Comments 9개

로그인이 필요합니다

comment

0 / 1000

쥬혁이

2023.10.17 16:54

피처의 값 자체가 미래 시점이 반영된 value라 로직을 만들어서 의도적으로 한 것이 아니라도 피처 자체를 사용하는 것부터 미래 시점 반영 여부를 적용한 것이라 생각되네요

EISLab_이희원

2023.10.17 16:57

그래도 Test 데이터셋의 정보를 학습에 활용한 것은 아니니, 규칙에 위배되지 않는다고 생각합니다...

쥬혁이

2023.10.17 16:59

현 유가 피처를 사용한다면 말씀대로 규칙에 위배되지는 않지만 Real World에서 사용할 AI 모델 개발이라고는 할 수 없게 되겠죠

EISLab_이희원

2023.10.17 17:00

같은 생각입니다

뉴숩

2023.10.17 17:00

Trainset을 수정하지 않는다면 리더보드의 상위권은 ATA, 유가 값만을 이용한 알고리즘이 차지하지 않을까 추측합니다.
이렇게 된다면 본선 진출자 선정 방식이 대회 취지와 맞지 않을 것 같습니다.

문제가 발생한 값만 수정하면 쉽게 모델을 학습하고 평가할 수 있을 것 같은데
작성자님은 어떻게 생각하시는지 궁금합니다.

EISLab_이희원

2023.10.17 17:09

리더보드 지워졌네요....

뉴숩

2023.10.17 17:13

헉 그렇네요ㅋㅋㅋㅋㅋ
사실상 테스트 데이터 레이블이 공개된거나 마찬가지였으니깐 한번 뒤엎는게 맞긴하죠..

AmurTigro

2023.10.17 17:09

제 생각엔 유가를 정박 일자 전 날 종가로 수정하는게 빠르고 합리적인 방법인 것 같습니다

율동공원

2023.10.17 17:13

안녕하세요, BrainAI_이희원님
저도 비슷한 생각입니다. 대회 출제 자체가 어느 정도 오류를 범하고 있다고 대회 초반부터 생각을 하고 있었습니다.
하지만, 데이터는 모두에게 동일하게 주어졌고 데이터를 통해서 할 수 있는 모든건 대회 참가자들의 역량에 달려있다고 생각합니다.
현 대회는 진행이 되고 오프라인 대회에서 정정되어 진행되어야 한다고 생각합니다.

+ 리더보드가 사라졌군요,,

📣 댓글 작성 창의 위치가 댓글 리스트 상단으로 이동하였습니다!

List

데이터 관련 질문

Competition - HD현대 AI Challenge

현재 글

현 상황에 대한 의견 공유

Competition - HD현대 AI Challenge

Likes 11