2022 AI 대학원 챌린지

LG | 채용 | B-cell | Epitope | Classification | macro-f1

상금 : 총 2,500만원
304명 마감

연습

대회안내 데이터 코드 공유 토크 리더보드

제출

최종 제출 시 주의 사항 (Number of Tested, Number of Responses 제외)

DACONIO

2022.07.26 11:55 906 조회

Private 평가를 받을 2개의 최종 제출 파일을 선택 시,

추론(Inference) 과정에서 Number of Tested, Number of Responses를 모델의 Input으로 사용하였다면 2차 발표 평가 대상자로 선정될 수 없습니다.

대회 주제는 백신 및 면역 치료제 개발을 위한 항원-항체반응 예측입니다.

즉, Antigen의 특정 서열이 면역 세포를 활성화 하는 지 예측하는 AI 모델을 개발하는 문제입니다.

Tested와 Responses는 반응 결과에 해당하는 데이터이므로 이를 Input으로 활용한 모델은 실제 현업에서 활용할 수 없습니다.

본 대회 취지와는 다르게 몇몇 참가자들이 단백질 서열을 활용하지 않고 데이터 내 Shortcut만 활용하는 것이 감지되었습니다.

따라서, 2차 발표 평가 대상자 선정을 위한 코드 검증과 2차 발표 평가 시 해당 Shortcut 외에도 문제의 취지와 다른 접근 방식도 동일하게 적용됩니다.

Shortcut이 포함된 경우 가급적 다시 제출하시기 바랍니다.

추가로 Shortcut이 포함되지 않은 제출 파일을 Private 평가를 받을 최종 제출 파일로 설정하는 방법은 다음과 같습니다.

팀의 리더가 제출 탭에서,

오른쪽 체크박스에서 Private 평가를 받을 최종 제출 파일(2개)을 선택하여 '최종 저장' 버튼을 눌러 최종 저장 해야 합니다.

(Private 리더보드는 해당 최종 제출 파일로 채점이 되며, 코드 검증에서의 '코드 재현성 검증' 역시 해당 Private 점수 기준으로 이루어집니다.)

감사합니다.

댓글 10개

로그인이 필요합니다

comment

0 / 1000

문과

2022.07.26 12:50

안녕하세요. 올려주신 공지 잘 확인하였습니다. 두가지 문의사항이 있습니다.

1. 위에 올려주신 내용은 사소한 것이 아니라 큰 변경사항이라 생각됩니다. 대회 일정이 현재 정해진대로 확실히 진행 될 예정인지 궁금합니다.
2. 리더보드에 있는 성능은 각 팀이 개발한 모델을 평가비교하는데 매우 중요한 지표가 됩니다. 하지만 현재 리더보드에서 무의미한 결과가 많이 포함되어 있을 것이라고 생각됩니다. 각 팀이 자체적으로 삭제를 하는 것이 아니라, 일괄적으로 주최측에서 리더보드 성능을 리셋시키는 것이 가능할지 여쭈어보고 싶습니다.(물론 이 경우에도 몇가지 문제점은 예상되지만, 일장일단이 있을 것 같습니다)

DACONIO

2022.07.26 13:06

안녕하세요 문과님,
1. 대회 일정에는 변동 없이 진행될 예정입니다.
2. Public 리더보드는 수상자 선정에 있어 지표로 사용되지 않습니다.
또한, 주최 측과 내부 논의한 결과 Public 리더보드는 별도로 초기화하지 않기로 결정하였습니다.
따라서, 대회가 종료되면 Private 리더보드 발표 후 코드 검증을 통과한 Private 상위 10팀이 2차 평가 대상자로 선정됩니다.
감사합니다.

Winner_loopy

2022.07.26 13:33

안녕하세요 올려주신 내용 이외에도 궁금한것이 있어서 댓글 남깁니다.
1) 현재 shortcut이라고 표현 해주셨는데, 어느 데이터 까지가 shortcut인지 판단하는것은 스스로 해야하는 것인지 궁금합니다.
2) 리더보드를 초기화 하지 않는다면 평가는 shotcut이 포함된 상태로 평가한 후 발표때 순위가 결정되는 것인지 여줘보고싶습니다.

DACONIO

2022.07.26 13:41

안녕하세요 Winner_loopy님,
1. 현재 안내 드린 Shortcut으로는 Number of Tested, Number of Responses 의 두 개의 Feature가 포함된 Input이 모델 Inference시 사용되는 경우이며, 이 밖의 대회 개요에 기재된 문제의 취지에 벗어난 다른 접근 방식을 사용한 것이 코드 검증 시 발견된다면 2차 평가 대상자로 선정될 수 없습니다.
2. Private 리더보드는 대회가 종료되고 각 팀이 선택한 최종 제출물들로부터 채점이 된 결과로, 대회 종료 후 발표됩니다.
또한 Private 리더보드는 해당 안내 사항과 같이 Shortcut의 방법이 포함되지 않은 제출물로 평가받을 수 있도록 안내하였습니다. (2개의 제출물 최종 선택)
그러나, Private 평가에 선택한 최종 제출물 역시 Shortcut이 포함된 제출물이라면, 코드 검증을 통과할 수 없으며 2차 평가 대상자로 선정될 수 없습니다.
감사합니다.

Team

2022.07.26 15:47

그러면, 높은점수가 number of resposes때문이라는 것이고
현재 sequence만 사용했을때 다른 팀들과의 비교가 안된다는 것인데,
리더보드에는 number of responses 까지 사용해서 제출을 해봐도 실격 안당할까요?
(최종때는 해당 피쳐 사용하지 않을예정)

DACONIO

2022.07.26 15:58

안녕하세요 이광한님,
위의 사항은 Private 리더보드 평가를 받을 최종 제출물(2개)에만 적용됩니다.
단, 위의 Shortcut의 방법을 제외한 기타 규칙 위반 사항(치팅)은 Public/Private 리더보드 모두 적용됩니다.
감사합니다.