대회 개요는 제가 이해한바로는 다음과 같습니다

• public data: 1~3월 데이터
• public leader board: 4월 데이터
• private leader board: 7월 데이터 (4월 데이터는 공개)

대회진행방식은 흡사 kaggle m5와 매우 비슷해보이지만, 아주 큰 차이점이 있습니다. m5의 경우, public data 바로 다음 28일을 추후에 공개를 하지만, 여기서는 무려 3달뒤의 데이터가 공개됩니다.

이렇게 되면 정말 큰 문제가 발생합니다.

예를들어, 지금 참가자들은 최소 1달 전, 최대 3달 전 데이터를 이용해서 4월을 맞추고 있습니다. 때문에 lagging을 한달 단위 이상으로 무난하게 사용이 가능합니다.

문제는 7월 데이터를 맞출 때인데, 7월을 맞출 때는, 최소 3달전(4월포함 그 이전) 데이터부터 사용이 가능합니다. 4월을 맞추기위해 각종 lagging (1month, 2month window)를 사용을 해서 만든 feature와 모델이 public score가 0을 찍고 결함없이 완벽하게 나오더라도, 7월을 맞출 때는 사용할 수 없게 되죠..

time series 문제에서 lagging은 정말 중요한 feature입니다. 물론 lagging 뿐만 아니라 비슷하게 derive 되는 feature는 전부 못쓰게 됩니다. (여기서 못쓰게 된다는 것은 final submission까지 일관성있게 못쓴다는 뜻입니다)

심지어 데이터양도 너무 적어서 어떻게 커버가 될 수가 없을것 같다는 생각입니다.

이 때문에 final submission에서는 엄청난 shake-up이 발생하지 않을까 생각합니다

개인적인 의견이었는데, 혹시 제가 잘못 생각한 부분이 있으면 지적바랍니다