농업 환경 변화에 따른 작물 병해 진단 AI 경진대회

1. 좀더 자세히 설명드리겠습니다. 데이터를 보시면, 최초 데이터 시작 시간이 고정되어 있지 않습니다. 예를 들어, 어느 날은 오후 2시부터 시작되고, 어느날은 오전 1시부터 시작되기도 합니다. 또한 동일 시간의 데이터 중복 또한 확인됩니다. 그런데 percentile을 적용하면 48시간 동안의 최저점부터 최고점까지 순차적으로 나열됩니다. 특히, 해석적인 관점에서, 예를 들어 온도를 기준으로 든다면, 기존의 데이터는 특정 시간에 특정 온도를 뜻할 뿐이지만, percentile을 적용하게 되면, 10percentile에 나타나는 온도의 의미는 해당 작물이 그 온도보다 낮은 온도에 총 시간의 10%만큼 노출되었다는 의미와 동시에 그 온도보다 높은 온도에 총 시간의 90%만큼 노출되었음을 나타냅니다. 따라서 이번 대회의 경우 percentile을 적용하면 특정 기간동안 기록된 온도와 같은 시간적인 변동성을 지닌 데이터에서, 특정 온도에 해당하는 해석적 의미를 더해주는 것과 동시에, percentile을 적용함으로써 기존 데이터의 중복 문제, 혹은 일부 데이터 누락 문제에도 강건해질 수 있는 특징이 있기에 이런 방식으로 전처리 진행했습니다.

내용이 많아 추가로 하단에 작성드립니다.

2. 딥러닝은 scaling에 영향을 크게 받는 경향이 있습니다. 그래서 임의의 숫자를 대체하여 넣을 때는 고려할 사항이 많고, 임의의 숫자를 넣음으로써 결과가 나빠질 가능성도 커지게 됩니다. 심지어 존재 여부라는 새로운 칼럼을 집어 넣음으로써 input data의 양이 많아진다고 볼 수 있으며, 이는 학습에 더 어려움을 야기할 가능성이 있습니다.
하지만 제가 내용에 부스팅 알고리즘이라고 적었습니다만, 더욱 정확하게는 트리 구조의 알고리즘 하에서는 데이터의 scaling은 그다지 문제되지 않습니다. 트리 구조에서는 특정한 임계값으로 데이터를 분할하게 되며, 제가 기대한 바는 만약 누적일사와 CO2가 데이터 라벨 분류에 중요하게 작용할 시, 애초에 데이터가 존재하는지 여부를 나타내는 정보가 있다면 이에 초점을 둘 것이고, 그렇다면 우선적으로 존재여부에 따라 트리 구조하에서 하부 트리가 나뉘어지게 될 것이기 때문입니다. 제 예상처럼 누적일사와 CO2 데이터의 존재 여부를 모델이 우선적으로 고려하다면, 데이터가 존재하지 않았던 곳에 -1로 치환하여 넣더라도 아무 의미가 없게 될 것이고, 모델 학습을 위해 빈 값 없이 데이터를 채우는 용도로만 사용될 것입니다. 반면 동시에 누적일사와 CO2 데이터를 우선적으로 고려하지 않더라도 누적일사와 CO2 데이터가 존재할 경우는 모두 0 이상의 수치가 기록되어 있으며(누적 일사와 CO2는 음수로 떨어질 수 없습니다), -1은 이것이 존재하지 않았다는 것을 알려주는 역할을 하게 됩니다. 즉, 이 경우에서도 트리 구조하에서 -1인 경우는 따로 분리해낼 수 있게됩니다.

기본 베이스 라인으로 주어진 코드는 LSTM을 활용한 딥러닝 모델인데, 딥러닝과는 다른 ML 모델의 특성에 대한 이해를 기반해서 전처리를 쉽게 진행했다고 이해해주시면 될 것 같습니다.
혹시 더 궁금한 사항이 있으면 질문주시면 가능한 제가 이해하는 범위 내에서 답변드리겠습니다.

친절한 답변 감사드립니다. 1번 내용에 관해서 명확히 이해했습니다.

그렇다면, 2번 질문의 추가로 누적일사와 CO2가 데이터 라벨 존재 여부에 대한 하부 트리 구조는 분류 트리로서 누적일사 or CO2<=0, 누적일사 or CO2 > 0 이렇게 두 변수에 대한 분류 트리를 생성해서 분류 학습을 하도록 설계하셨다는거죠?

네 맞습니다. 좀더 정확하게는 누적일사 or CO2 < 0 인 경우와 나머지 경우를 모델이 분류해낼 거라 가정하고 전처리를 진행했습니다.

요즘 제가 바빠서 답이 늦었습니다.

원래 예측한 값으로 mask를 뽑아오면, 실제 추론 과정과 동일하게 됩니다. 이때, 작물 종류, 질병 종류, 질병 심각도 모두를 맞추는지 여부를 확인하고자 하는 목적만 지닌다면, 그렇게 해도 무방합니다.

다만, 제가 한 방식은 3가지 각각에 대한 성능을 뽑아보기 위해 정답 mask를 가져왔습니다. 정답 마스크를 가져오게 되면, 현재 예측하는 대상(예: 질병 종류)이 정답인지 여부에 초점을 둘수 있게 됩니다.
동시에, 원래 예측했던 결과값들은 저장해 놓기 때문에, 3가지 예측치(작물 종류, 질병 종류, 질병 심각도) 중 하나만이라도 틀린다면 전체 통합 예측은 틀렸다고 산출 할 수 있습니다.

따라서 정답 mask를 가져오는 것은, 3가지 각각의 예측에 대한 정확성을 알기 위해서라고 생각해주시면 될 것 같습니다.