2023 Samsung AI Challenge : Image Quality Assessment

1. 리더 보드

• 화질 점수 평가 산식
• Score = (PLCC + SRCC) / 2

PLCC < 0, PLCC = 0

SRCC < 0, SRCC = 0

• 캡셔닝 평가 산식
• Score = CIDEr-D * 4 + METEOR * 3 + ((BLEU-4 + BLEU-3) / 2) * 2 + ROUGE-L * 1

일반적으로 사용되는 자연어 캡셔닝 평가 산식들 중에서 본 Challenge 목표에 부합하는 정도에 따라 가중치를 다르게 고려

• 캡셔닝 평가 목표 
• 본 대회는 입력 사진에 대한 밝기, 색감, 선명도, 왜곡, 분위기 등의 관점에서 화질 캡셔닝 하는 것을 목표로 함
• 밝기 및 색감 (예. temperature, tint, vibrance, saturation, exposure 등)
• 선명도 및 왜곡 (예. sharpness, clarity, noisiness 등)
• 분위기 (예. warm, surrealism 등)
• 카메라의 사용 및 촬영 대상에 대한 심미적 평가를 목표로 하진 않음
• 카메라의 사용 (예. nice perspective, good angle 등)
• 촬영 대상 (예. cuty baby face, funny action shot, beautiful background 등)

• Private 리더보드 랭킹 산출 방식
• 대회 종료 후, Private 리더보드 공개와 함께 최종 순위를 공개
• 화질 점수 순위 + 캡셔닝 점수 순위의 합이 최소가 되는 팀이 우승

순위의 합이 작을 수록 상위 등수 (Ex. 화질 점수 평가 산식 순위 1위, 자연어 화질 평가 캡셔닝 평가 산식 순위 5위인 경우, 순위의 합은 총 6)

순위의 합이 동일할 경우 캡셔닝 평가 순위가 높은 팀이 우세

• Public score : 전체 테스트 데이터 중 사전 샘플링된 30%
• Private score : 전체 테스트 데이터 중 나머지 70%

2. 평가 방식

• 1차 평가 : 리더보드 Private Score
• 2차 평가 : Private Score 상위 10팀 코드 및 PPT 제출 후 코드 검증

3. 개인 또는 팀 참여 규칙

• 개인 또는 팀을 이루어 참여할 수 있습니다.
• 개인 참가 방법 : 팀 신청 없이, 자유롭게 제출탭에서 제출 가능
• 팀 참가 방법 : 팀 탭에서 가능, 상세 내용은 팀 탭에서 팀 병합 정책 확인
• 팀 구성 방법: 팀 페이지에서 팀 구성 안내 확인
• 팀 최대 인원: 3 명
• 동일인이 개인 또는 복수팀에 중복하여 등록 불가

4. 외부 데이터 및 사전 학습 모델

• 대회 제공 데이터 이외의 외부 데이터 사용 금지
• 법적 제약이 없으며 논문으로 공개된 베이스의 사전 학습 모델(Pre-trained Model) 사용 가능
• 참가자 본인이 외부 데이터로 사전 학습 모델을 추가 학습시켜 사용하는 것은 불가능
• 사전 학습 모델의 출처와 논문 링크 필수 기재
• AVA-captions 데이터셋 또는 KonIQ++ 데이터셋(KonIQ-10k 포함)으로 사전 학습된 모델 사용 불가능
• 확인이 어려운 경우 dacon@dacon.io로 문의

5. 코드 및 PPT 제출 규칙

• 대회 종료 후 2차 평가 대상자는 아래의 양식에 맞추어 코드와 PPT를 dacon@dacon.io 메일로 기한 내에 제출
• 제출한 코드는 Private Score 복원이 가능해야 함

o  코드에 ‘/data’ 데이터 입/출력 경로 포함

o  코드 파일 확장자: .py, .ipynb

o  코드와 주석 인코딩: UTF-8

o  모든 코드는 오류 없이 실행되어야 함(라이브러리 로딩 코드 포함)

o  개발 환경(OS) 및 라이브러리 버전 기재

• 제출 파일 목록

o Private Score 복원이 가능한 코드 파일

o Private Score 복원이 가능한 모델 weight 파일

o (자유 양식의) 솔루션 PPT 자료

o [중요] 팀원 전체의 재학증명서 또는 대체인증서류 제출

6. 유의 사항

• 1일 최대 제출 횟수: 3 회
• 사용 가능 언어: Python
• 모든 csv 형식의 데이터와 제출 파일은 UTF-8 인코딩을 적용합니다.
• 모델 학습과 추론에서 평가 데이터셋 정보 활용(Data Leakage)시 수상 제외
• 모든 학습, 추론의 과정 그리고 추론의 결과물들은 정상적인 코드를 바탕으로 이루어져야하며, 비정상적인 방법으로 얻은 제출물들은 적발 시 규칙 위반에 해당됩니다.
• 최종 순위는 선택된 파일 중에서 채점되므로 참가자는 제출 창에서 자신이 최종적으로 채점 받고 싶은 파일 1개를 선택해야 함
• 대회 직후 공개되는 Private 랭킹은 최종 순위가 아니며 코드 검증 후 수상자가 결정됨
• 데이콘은 부정 제출 행위를 금지하고 있으며 데이콘 대회 부정 제출 이력이 있는 경우 평가가 제한됩니다. 자세한 사항은 아래의 링크를 참고해 주시기 바랍니다.

https://dacon.io/notice/notice/13

7. 토론(질문)

• 대회 운영 및 데이터 이상에 관련된 질문 외에는 답변을 드리지 않고 있습니다. 기타 질문은 토론 페이지를 통해 자유롭게 토론해주시기 바랍니다.
• 데이콘 답변을 희망하는 경우 토크 게시글 댓글로 질문을 올려 주시기 바랍니다.

예) [DACON 답변 요청] 시상식은 언제 열리나요?