AI프렌즈 위성관측 데이터 활용 강수량 산출 AI 경진대회

재밌는 대회 개최해주셔서 정말 감사합니다.

혼자했으면 힘들었을텐데 팀으로 진행해서 좋은 결과가 있었던 것 같습니다.

대회 마감 3일전까지 점수가 오르지 않아 정말 힘들었는데, 좋은 Feature를 찾아내서 많은 향상이 있었습니다.

Feature

•  Temp 0~8
•  Type
•  GMI와 DPR의 Latitude Diff
•  GMI와 DPR의 Longitude Diff

Latitude와 Longitude Diff를 추가한 이유는 대회 막바지에 외부 데이터를 추가하다가 보니 GMI 데이터와 DPR 데이터의 좌표 맵핑이 가장 힘들었습니다.

데이터 설명 자료에서도 GMI와 DPR의 가장 가까운 좌표를 계산하여 Mapping하였다고 했는데 직접 해보니 가장자리 부분이 정확하게 Mapping하지 못하였습니다.

그래서 이런 Diff 정보를 추가하면 상대적으로 Model이 이 값이 컸을 때 데이터를 신뢰할 수 없다고 판단하지 않을까 생각해서 추가하였습니다.

이 피쳐만 추가해서 기존 1.55정도의 Public Learderboad Score에서 1.42까지 한번에 올라갈 수 있었습니다.

• -9999가 1개라도 있으면 제거
• 데이터는 전체 다 사용
• StandardScale 적용

Data Augmetation

• Roatation 90, 180, 270, HFlip, VFlip, Transpose
• Augmentation 비율 0.5

외부 데이터

• 데이터 설명 ppt에서 data받은 곳이 나와있었고 이번 대회에서 제공된 2016~ 뿐만 아니라 2014, 2015 정보도 있었습니다.2014, 2015 데이터를 받아 최대한 이번 대회 Format에 맞는 변환에 성공하였고 대회 막바지에 시간이 많지 않아 대략적으로 8300개 정도 추가하여 학습하였습니다. 외부 데이터를 추가한 Model이 생각보다 큰 효과는 없었지만 약간의 성능 향상이 있었습니다. 기존 Data로 학습한 모델과 외부 데이터를 추가하여 학습한 모델로 Ensemble 시 다양성을 추가하기 위한 목적도 있습니다.

Model

GoldBar님이 올려주신 코드가 아니었다면 정말 힘들었을 것 같습니다. 다시 한번 감사드립니다.

처음에는 LGBM으로 접근하다가 도저히 안될 것 같아서 Unet기반 Segmentation Model로 진행하였습니다.

그 후 GoldBar님이 올려주신 코드와 댓글을 보고 모델을 다시 생각하게 되었고 이 코드 기반으로 모델을 변경하면서 좋은 Model을 찾았습니다.

CNN 기반 Custom Model KFold

• Data: Original Data, -9999 제거
• Cross Validation: 5 Fold
• Loss: MOFLoss
• Optimizer: RAdam + LARS + LookAHead (https://github.com/mgrankin/over9000)
• Scheduler: CosineAnnealingWarmRestarts(optimizer, 10, 2,eta_min=1e-6)
• Model: CNN 기반 Custom Model
• Batch: 128
• Epoch: 150

CNN 기반 Custom Model Single

• Data: Original Data, -9999 제거, 추가 데이터 사용 약 8300개 (-9999제거, 위 경도가 심하게 일치하지 않은 것 제외)
• Cross Validation: train_test_split(sorted(glob.glob(train_path + '/*')), test_size=0.1, random_state=31014)
• Loss: MOFLoss
• Optimizer: RAdam + LARS + LookAHead (https://github.com/mgrankin/over9000)
• Scheduler: CosineAnnealingWarmRestarts(optimizer, 10, 2,eta_min=1e-6)
• Model: CNN 기반 Custom Model
• Batch: 128
• Epoch: 150

Goldbar님 Model Single

• Data: Original Data, -9999 제거, 추가 데이터 사용 약 8300개 (-9999제거, 위 경도가 심하게 일치하지 않은 것 제외)
• Cross Validation: train_test_split(sorted(glob.glob(train_path + '/*')), test_size=0.1, random_state=31014)
• Loss: MOFLoss
• Optimizer: RAdam + LARS + LookAHead (https://github.com/mgrankin/over9000)
• Scheduler: CosineAnnealingWarmRestarts(optimizer, 10, 2,eta_min=1e-6)
• Model: Goldbar님 Single Model
• Batch: 128
• Epoch: 150

Ensemble

CV와 대략적인 LB기준으로 Ensemble을 진행하였습니다. 

위에서 말한 3가지 모델에 가중치를 주어 결합하였고 최종적으로 1.37868을 기록하였습니다.

최종결과: 1번 * 0.6 + 2번*0.2 +3번*0.2

시도한 것

• 다양한 Custom Model 실험
• 다양한 Loss(SmoothL1Loss, L1Loss, DiceLoss 등), Optimizer(AdamW, Adam, SGD 등), Scheduler 실험
• Unet기반 Segmentation Model 실험(Encoder Model을 바꾸거나 Fpn, DeepLab 사용 등)
• LGBM기반 Model (정말 다양하게 해봤는데, 1.8 초반 정도가 한계였습니다.)
• Augmentation 중 Random Box Cut 후 그 부분만 회전, Flip 하는 CutFlip을 구현했는데 성능향상이 아주 조금 있는 것 같아 사용하지 않았습니다.
• Augmentation 중 Random Box Cut 후 그 지역을 0 Target의 Median의 Noise를 준 Random값으로 채워주는 것도 해봤는데 잘 안되었습니다.
• 오차 분석 후 299가 넘는 점들을 잘 예측하지 못한다는 점에서 아주 큰 값은 인접셀의 평균 값으로 Smoothing해주었는데 잘 안되었습니다.
• 299가 넘는 값들을 가지는 것 제외해보았는데 잘 안되었습니다.
• Temp Diff Feature ( tem0 - temp1, temp0-temp2 ...)
• -9999 데이터도 채워서 사용하였는데 큰 향상이 없어 사용하지 않았습니다.

감사합니다.