농업 환경 변화에 따른 작물 병해 진단 AI 경진대회

이미지 폭에 따른 leakage

2022.01.22 10:40 1,826 Views

안녕하세요, 딥러린이입니다.


OpenCV랑 CNN 공부하면서 이것저것 시도하고 있는데요, 생각보다 LB점수가 안나오네요.

데이터 증강과정에서 Random Zoom, Random Crop을 많이 활용했는데 이게 문제인것 같기도 합니다.


대회에서 제공되는 train, test 이미지는 높이가 512로 고정되어 있습니다. 그리고 폭은 모두 다릅니다.

그런데 이 폭 자체가 굉장히 큰 정보더라구요.

이미지 폭 별로 각 label의 비율을 계산했습니다.

예를 들어 초록색으로 표시한 폭 512의 경우 100% 5_00_0입니다.

비슷한 식으로 622는 6_b4_3, 1081은 3_00_0, 262는 6_00_0과 연결됩니다.


이미지의 특성으로 예측하는 것이 아니라 폭으로 꽤 높은 정확도를 가질 수 있고, 실제 test 데이터의 이미지 폭만 봐도 정답이 보입니다.


242는 모두 3번 작물이고, 262는 6_00_0으로, 512는 5_00_0으로, 622는 6_b4_3, 740은 6_00_0, 1081은 3_00_0으로 예측하면 됩니다.

물론 이것이 함정일 수도 있지만, 일반적으로 작물별로 담당자/시설이 나뉘어 있고 동일한 카메라로 촬영되었을 가능성이 크니까요.


이러면 test 데이터가 아니라 실제 상황에서는 이미지의 사이즈가 바뀔 수 있어서 정확도가 떨어질 수 밖에 없습니다.



일단 모형 자체에 이미지의 크기나 비율을 활용하는 것은 금지해야할 것 같습니다.


그런데 사실 resize과정에서 이미지의 비율 정보가 반영될 수 있고, padding으로도 가로 폭 정보를 반영할 수 있기 떄문에 애매하긴 합니다.

대회 기간이 이미 많이 지나서 데이터 수정도 어려울 것 같구요.


일단 저는 random zoom과 random crop은 버리고, random flip만 활용하는 것부터 다시 시작해보려고 합니다.

그리고 최대한 이미지 폭을 자연스럽게 녹일 수 있는 방법도 고민해봐야할 것 같습니다:)

로그인이 필요합니다
0 / 1000
장어
2022.01.22 11:30

resize가 제한되는 상황이라니..
작물 병해다 보니 색상 정보 변경도 제한되는 상황인데.. 어렵네요

라라레
2022.01.22 17:36

resize로 사이즈를 통일시키지 않고 학습시킬 수 있는 방법이 있을까요.... 저도 아직 잘 모르는지라 어렵네요 ㅠ 

그래도 좋은 정보 감사합니다 

Statistics
2022.01.22 17:44

Resize를 제한할 수는 없고, 사이즈 정보를 직접적으로 모형에 활용하는 것은 막아야하지 않을까 생각합니다.

다만 어떻게든 성능은 높여야하니까 resize를 방법을 고민하고, 일반적으로 활용하는 zoom, crop은 오히려 성능을 떨어뜨릴 수 있을 것 같네요.

그럼 폭이 384인 이미지들을 잘 분류하는 것이 점수에서 가장 중요한 요소가 될것 같네요.