논문을 읽으면서 내용을 정리해 올립니다. 간단한 논문 리뷰라고 생각하셔도 좋을 것 같습니다. 리뷰 치고는 생략한 부분이 많지만요..

그런데 토크 게시판에는 수식을 첨부할 수가 없네요.. 해당 부분은 한글 파일로 작업해 캡쳐해 사진으로 올렸습니다.

본 포스팅은 데이콘 서포터즈 "데이크루" 1기 활동의 일환입니다.  

이번에 소개할 내용은 네이버 Clova에서 발표했던 CutMix입니다. 이미지 문제(비전)의 성능을 올리기 위해 Mixup, Cutout, flip 등 다양한 data augmentation 기법이 나와 있었습니다. Cutout의 경우 이미지의 일부를 잘라내 0으로 채우고 Mixup의 경우 다른 이미지와 겹침으로서(interpolation) CNN으로 하여금 이미지의 덜 중요한 부분까지 특징을 잡도록 하는 방법을 취하고 있었습니다. 하지만 이 두 가지 방법은 정보 손실 측면에서 문제점이 있었고 이를 해결하기 위해 CutMix가 등장했습니다. CutMix는 이미지의 픽셀을 단순히 지우는 것이 아니라 제거된 영역을 다른 이미지로부터 가져온 patch로 적용하는 것입니다. 그리고 이름에서 볼 수 있듯 두 가지 방법을 약간씩 섞은 것으로 한 마디로 요약하면 cut&paste 방법을 취한 것입니다. 

CutMix는 두 이미지를 섞는 것이므로 한 이미지에서 여러 개의 물체를 감지할 수 있습니다. Figure 1은 각 기법으로 훈련시킨 모델에 대해 CAM 시각화를 한 것입니다. 자른 부분의 픽셀을 아예 0으로 만드는 Cutout과 달리 CutMix는 두 개의 객체를 모두 인식하는 것을 확인할 수 있습니다. (CAM 관련한 논문도 빨리 읽어보고 싶네요.. 신기합니다.)

사진을 보면 Cutout이나 CutMix의 경우 Saint Bernard의 몸통 부분을 집중해서 본 것으로 볼 수 있지만 Mixup의 경우 자르는 방식보다 넓은 부분을 보고 있는 것을 확인할 수 있습니다. Mixup의 경우 interpolation으로 데이터 증대를 했기 때문에 부자연스러운 이미지가 나와 모델이 집중해야할 부분을 못 찾는 것으로 볼 수 있습니다. Cutout, CutMix, Mixup 각각의 특징을 간단하게 표로 정리해둔 논문 자료가 있어 첨부합니다. 

CutMix 기법을 사용했을 때와 안 했을 때를 CIFAR100, ImageNet 데이터셋에 대해 비교한 그래프입니다. CutMix를 적용했을 때 학습이 마무리된 시점 기준으로 낮은 에러 값을 달성하는 것을 확인할 수 있습니다. 또한, CutMix를 쓰지 않으면 약 150에포크가 돌면 과적합이 일어나지만 CutMix의 경우 과적합이 일어나지 않고 꾸준히 감소한 것으로 보입니다. 

ImageNet-1K 데이터셋에 대한 기존 Augmentation 기법과 성능 비교 실험은 하단의 사진과 같습니다. 

Manifold나 Feature 가 붙은 방법들은 입력 이미지에서 해당 기법을 적용한 것이 아니라 feature 레벨에서 수행한 것을 말합니다. 일반적인(이미지 레벨) CutMix를 사용한 것이 에러가 가장 낮음을 확인할 수 있습니다. 파라미터 수가 많더라도 ResNet50과 CutMix 기법을 사용한 모델이 가장 낮은 에러 값을 보여주고 있네요. 

ResNet50이 아닌 더 무거운 101을 사용하더라도 CutMix 기법이 가장 낮은 값을 보여주고 있습니다. 

위 사진은 전이학습으로 객체 탐지를 수행한 결과에 대해 정리한 표입니다. 기본 베이스 라인 대비 Detection에서 mAP기준 최대 1정도가 증가한 것을 확인할 수 있습니다. 반대로 이전까지 제시되었던 Mixup이나 Cutout의 경우 성능이 떨어졌음을 확인했습니다. 이 밖에도 다양한 실험을 진행해 성능지표를 정리해서 논문에서는 소개하고 있습니다. 전반적으로 Mixup이나 Cutout 대비 안정적인 성능 향상을 보여주고 있었습니다.

더 자세한 내용은 논문을 참고해주세요! 

논문 링크 : https://arxiv.org/pdf/1905.04899.pdf