CAM으로 시각화한 이미지 확인

도배 하자 유형 분류 AI 경진대회

CAM으로 시각화한 이미지 확인

2023.04.24 13:06 1,811 조회

대회에서는 도배 하자가 있는 경우의 이미지만 학습하게 되는데 걸레받이 수정의 경우 모델을 학습한 뒤(ResNext) CAM으로 시각화 해보면 걸레받이 수정같은 경우 하자가 있는 부분을 보는 것이 아닌 걸레받이 부분인지에 대한 여부를 보는 것 같습니다. 안 그런 경우도 있지만 대부분의 경우 아래와 같은 것을 볼 수 있습니다.

만약에 실제 서비스를 할 때 하자가 없는 사진이 들어오는 경우 그냥 걸레받이 부분이라 걸레받이 수정 하자가 있다고 결과를 뱉어내게 될 수도 있을 것 같습니다. 물론 어떤 전략을 썼는지에 따라 다르겠지만 다른 분들은 이런 문제에 대해서 어떻게 생각하시는지 궁금하네요

댓글 4개

로그인이 필요합니다

comment

0 / 1000

다냐니라

2023.04.24 15:25

데이터셋이.. 정상 데이터가 주어지지 않은 상황이라.. 실제 서비스를 제공하기에 어렵다는 말에 공감합니다.
아무래도 서비스를 한다면, 하자가 있는 사진이 input으로 들어왔을때를 가정할 것 같습니다.

진현림

2023.05.04 06:57

저도 이부분에 공감합니다.

seuyon0101

2023.05.15 23:22

negative 샘플을 넣고 돌려보는 것은 어떻게 생각하시는지요?
negative == 하자 없는 깨끗한 사진들(?), 하자 없는 사진과 저희가 분류하려는 모델에 특징들을 비교해가며 모델이 배울 수 있다면, 이 문제가 해결될 수 있지 않을까라는 생각이 드네요. 물론 실제로 돌려봐야 알 것 같지만요...
focal loss에 alpha 값을 줄때 별도 negative sampling을 레이블 하면 제가 생각 한 아이디어가 구현되지 않을까 싶네요. 아니면 contrastive loss를 서도 될것 같구요.