안녕하세요.

오늘은 2021년에 NAVER AI Lab이 CVPR 2021에서 발표한 논문 "Re-labeling ImageNet: from Single to Multi-Labels, from Global to Localized Labels"에 대해 공유하고자 합니다. 이 논문은 감사하게도 유튜브에 발표 영상이 공유되어 있습니다. 논문을 살펴보면 Github에서 소스코드도 제공하고 있다고 하지만, 현재 시점(2021.02.20)에는 접속되지 않습니다.

Motivation

본 논문은 기존의 이미지분류 방식을 활용하여 multi-label과 local-label로 re-labeling하는 방법을 제안하고 있습니다. 일반적으로 이미지 분류 모델에서 설정된 라벨은 아래의 그림 중 [Original ImageNet]에서 볼 수 있듯, 특정한 구역 전체에 대해서 하나의 라벨이 할당되어 있습니다. multi-label은 동일한 구역에서 여러개의 라벨이 할당되는 것을 의미하고, local-label은 전체 구역 중 일부 구역에 대해 라벨이 할당된 상태를 이야기 하는데요, 이 논문에서 제안하고 있는 바는 기존 구역 별 단일 라벨로 구성된 [Original ImageNet]을 활용하여 [ReLabel]과 같이 multi-label 및 local-label로 relabeling하는 것을 목표로 합니다.

Method

아래의 그림은 우리가 일반적으로 알고 있는 CNN 모델의 구성입니다. 이 모델은 단일 라벨에 대해 강력한 성능을 보여주는 모델 무엇이든 사용가능합니다. 이미지 분류 모델의 하단은 항상 Global Average Pooling과 Fully-connected Layer로 구성되어 최종적인 결과를 출력해냅니다. 제안 방법은 이렇게 학습된 모델을 활용하게 됩니다.

앞에서 학습된 CNN모델에서 Global Average Pooling 이후의 레이어를 모두 제거하고, 1 x 1 컨볼루션 레이어를 두어 c x h x w 사이즈로 구성된 label map이 출력되는 모델로 구성합니다. 이 때 c x h x w 이라는 label map의 사이즈로부터 multi-label과 localized-label임을 해석해볼 수 있습니다. c는 클래스의 개수로, 이미지에서 분류 대상인 클래스 전체 사이즈와 동일합니다. 즉, 모든 클래스에 대해 값을 얻을 수 있어 multi-label이라 볼 수 있습니다. h x w는 원리의 이미지 사이즈인 H x W에서 줄어든 사이즈인데요, 이는 각 픽셀이 의미하는 바가 이미지의 부분이 됩니다. 이렇게 출력되는 부분 이미지는 원래 클래스가 할당된 이미지의 부분에 대한 내용이 될 수 밖에 없고, 이를 localized label로 볼 수 있습니다.

아래의 그림은 전체 구성을 볼 수 있습니다. 빨간색 선으로 표시된 ReLabel supervision을 보시면, 앞의 과정에서 만들어진 label map을 활용하는 것부터 시작됩니다. 이렇게 만들어진 label map에 대해 label pooling을 수행하면, 각 부분 이미지에 대해 각 클래스 별 확률이 출력되게 됩니다. 이렇게 출력된 결과를 예측값으로 활용하게 되는 것입니다.

Performance

결과는 간단히 살펴보면 아래 표와 같습니다. 총 4개의 이미지 셋에 대해 실험이 진행되었고, 2개의 셋은 single label, 2개의 셋은 multi-label로 구성되어 있습니다. 모든 모델은 Resnet-50을 활용하여 feature map을 얻었습니다. Supervision  방식에만 차이가 있었는데요, 본 논문에서 제안한 ReLabel을 활용한 방법이 가낭 높은 성능을 보이고 있음을 알 수 있었습니다.

이번 논문은 아이디어가 꽤나 좋다고 생각하며 읽었던 논문입니다. 방법이 복잡하지는 않지만, 성능면에서도 기존 모델보다 조금이나마 더 좋은 성능을 보이고 있고, multi-label과 localized labeling을 할 수 있다는 것이 다양한 곳에 활용될 수 있는 기반을 마련한다고 생각됩니다.

긴 글 읽어주셔 감사합니다 :)

본 포스팅은 데이콘 서포터즈 "데이크루" 1기 활동의 일환입니다.