AI Competition for Monitoring Legal Violations in KONEPS Self-Procurement Bid Announcements

안녕하세요. 리더보드 산식과 관련해 확인 요청드립니다.

평가 산식이 24개 검토 항목 각각의 위반(=1) 클래스 F1을 단순 평균하는 macro-F1으로 안내되어 있습니다. 그런데 특정 항목에 대해 비공개 평가 데이터에 실제 위반 사례가 하나도 없는 경우, 해당 항목의 양성 클래스 F1은 정의되지 않습니다(TP = FN = 0).

이 경우 해당 항목을 다음 중 어느 방식으로 처리하는지 알려주시면 감사하겠습니다.

1. 0점으로 계산
2. 1점으로 계산
3. 평균 대상에서 제외

24개 항목의 무가중 평균이라 항목 하나가 약 0.042점에 해당하여, 처리 방식에 따라 해당 항목에 대한 예측 전략이 달라집니다. 예를 들어 1번이라면 그 항목을 전부 0으로 제출하는 것과 적극적으로 예측하는 것의 기대값 차이가 사라지고, 3번이라면 희소 항목에 대한 적극적 예측의 위험이 줄어듭니다.

감사합니다.