K-Fashion AI 경진대회

알고리즘 | 이미지 | 영상분할 | 이미지 세분화 | mAP

  • moneyIcon 상금 : 1,000만원
  • 753명 마감

 

[평가 산식] mean Average Precision 공유(영상 추가)

2020.11.01 20:13 7,386 조회 language

평가 신식인 mean Average Precision 코드를 공유합니다. 

평가 지표 mAP 와 베이스라인 mask r-cnn을 설명하는 영상이 올라 갈 예정입니다. 

많은 참여 부탁드립니다.

원본 동영상 링크 : https://youtu.be/axp7ONBeI-E 

2020.11.03 코드 내용 변경
pd.merge(how = 'outer') --> pd.merge(how = 'left')

2020.11.05 코드 내용 변경
pd.merge(how = 'left') --> pd.merge(how = 'outer')
eval_df = eval_df[eval_df['ImageId'].isin(gt['ImageId'])] 추가

코드
로그인이 필요합니다
0 / 1000
Dylan
2020.11.06 12:31

코드 상의 mAP 계산이 일반적인 Segmentation Metric과는 조금 다른것 같습니다.
TP / (TP + FP + FN)은 Segmentation Accuracy를 구할 때 사용하는데,
이게 Average Precision을 의미하는것도 아닌것 같고요.

제가 잘 못 알고 있는 것일 수 있어서,
혹시 여기서 사용되는 Metric 관련해서 참고 할만한 페이퍼나 코드가 있을까요?

DACON.JIN
2020.11.06 13:39

안녕하세요. Dylan 님 네 맞습니다. 일반적으로 알고 있는 mAP 와의 개념과는 조금 다릅니다. 
이번 K-Fashion 경진대회의 경우 IoU threshold 를 0.5 만 사용했으며, Class 분류는 pd.merge 하는 부분에서 이루어지게 됩니다.
참고 자료는 아래 대회를 참고해주시기 바랍니다.
https://www.kaggle.com/c/data-science-bowl-2018/overview/evaluation
https://www.kaggle.com/c/imaterialist-fashion-2019-FGVC6/overview/evaluation

Dylan
2020.11.06 13:53

감사합니다.

Dylan
2020.11.13 16:58

리더보드 스코어 계산에도 위와 동일한 함수가 사용되나요?
제가 학습 데이터를 임의로 나눠서 사용하는 Validation셋으로 계산한 점수와 리더보드 상의 점수 편차가 커서 문의 드립니다. 

DACON.JIN
2020.11.13 17:37

안녕하세요. Dylan 님 네 동일한 함수가 사용되고 있습니다. 20.11.05에 일부 코드 내용 변경되었는데 다시 한 번 확인 부탁드립니다.

이전 글
[베이스라인 2/3] MMdetection(Mask R-CNN) 모델 학습하기
대회 - K-Fashion AI 경진대회
좋아요 13
조회 12,032
댓글 8
3년 전
현재 글
[평가 산식] mean Average Precision 공유(영상 추가)
대회 - K-Fashion AI 경진대회
좋아요 14
조회 7,386
댓글 5
3년 전
다음 글
다음 글이 존재하지 않습니다.