농업 환경 변화에 따른 작물 병해 진단 AI 경진대회

안녕하세요 khm님,

문의 주신 내용에 답변드립니다.

그럼 [참조 1]의 대회와는 다르게 test data에 대한 pseudo label과 같은 접근이 불가능 한게 맞을까요?
=> 네. 본 대회에서 test data에 대한 pseudo labeling과 같은 접근 방식은 부정행위로 판단합니다.

그리고 추가적으로 어떠한 공개된 데이터라면, 해외 open data 및 AIHUB의 작물 데이터처럼 open된 data는 data 수와 상관없이 엄청 많은 양의 데이터를 활용해도 되는지 문의드립니다.
=> 네. 법적 제약이 없으며 공개된 사전 학습 모델 및 외부 데이터는 사용 가능합니다. 다만 데이터 사용에 따른 책임 또한 사용자에게 있음을 알려드립니다.

(이와 관련하여 open된 data를 pre-train or train에 이용할 경우 학습시 소요되는 시간등의 요소에 대해 아무런 제약이 없는지 문의 드립니다)
=> 학습 시 소요되는 시간에 대한 제약은 없습니다. 하지만 추론 과정(모델&데이터 로딩 후 데이터 전처리 ~ 추론 ~ 결과 저장)에 소요되는 시간은 중대한 평가 항목이니 이를 유의해주시기 바랍니다.

감사합니다.

안녕하세요 khm님,

데이터 설명 파일을 참고해주시기 바랍니다.

감사합니다.

안녕하세요 틸레이(TLRY) 화이팅 님,

네, 학습시에 multi-gpu 사용하셔도 괜찮습니다.

감사합니다.

저도 이부분 매우 궁금합니다. 실제로 이런경우가 있으면 문제자체가 잘못된것 같아보이는데 확실히 되었으면 좋겠습니다.
외부데이터를 구할려면 구할수는 있고, 또, 제공된 업체가 이 대회를 진행하는 업체와 동일한것으로 보아서 외부데이터를 사용하는경우 Data Leakage가 될가능성이 높아보여서 외부데이터를 사용하는게 망설여지기도 하네요

저도 궁금했던 부분입니다. mignonDev님이 예시를 정확하게 들어주신 것 같네요. 특히 Baseline 코드에는 label_encoder가 총 111가지로 되어있으나, 실제로 학습에 존재하는 class는 25개입니다. 

안녕하세요 mignonDev 님,

본 대회의 test data에 존재하는 label은 모두 train data 에도 존재합니다.
따라서 "외부 데이터를 사용해야만 해결할 수 있는 문제"는 아닙니다.

감사합니다.

안녕하세요 틸레이(TLRY) 화이팅 님,

본 대회의 test data에 존재하는 label은 모두 train data 에도 존재합니다.
즉, train data에 없는 레이블은 test data에도 없습니다.

감사합니다.

안녕하세요 틸레이(TLRY) 화이팅 님,

먼저 본 대회는 완벽히 정제된 데이터가 아닌 raw 데이터를 활용하는 대회이기 때문에
이상치, 잘못된 레이블, train에는 존재하지 않는 레이블 등의 예외 사항들이 존재할 수 있습니다.
이러한 예외의 전처리는 참가자님들의 재량이며, 본 대회에서 평가하고자 하는 사항들 중 하나입니다.

다만 한가지 확실하게 말씀드릴 수 있는 것은 본 대회의 train data에 없는 레이블은 test data에도 없다는 점입니다.
대회를 운영하는 입장에서 테스트 데이터에 대한 어떠한 언급도 조심스러울 수 밖에 없음을 양해해주시기 바랍니다.

데이터에 관련된 추가적인 논의는 토크 게시판을 통해 다른 유저분들과 나눠주시기 바랍니다.

감사합니다.

안녕하세요 ptj0225 님,

이력서의 제출 방법이나 일자, 제출 대상자 등에 대한 사항은 대회 1차 평가가 종료된 후에 자세한 안내가 진행될 예정입니다.

감사합니다.

안녕하세요 종이호랑이님,

조금 더 자세히 상황을 설명해주시면 해결을 도와드리겠습니다.

감사합니다.

현재 두 명의 팀원이 각각 팀을 개설한 상태입니다. 팀을 한쪽으로 합치고 싶습니다.

종이호랑이 님의 상황은 다음 2 가지 상황 중 하나일 것으로 추측됩니다.

1. "1인 팀 + 1인 팀" 혹은 "다인 팀에 1인 팀이 들어가는" 경우: 이 경우에는 문제 없이 팀을 구성할 수 있습니다.

2. 다인 팀에서 한 명이 빠져 나와 다른 참가자와 새로운 팀을 구성하고자 하는 경우: 이 경우에는 구성이 불가능 합니다.
이미 구성된 팀을 탈퇴하는 순간 해당 참가자는 대회에 참가할 수 없어지기 때문입니다.
(단, 다인 팀이 팀 구성 이후 한번도 제출을 하지 않은 경우는 예외로 합니다.)

이는 1등 팀이 대회 종료 직전 팀을 해체한 뒤, 대회에 개별 참가하여 수상을 독차지하는 것과 같은 부정행위를 방지하기 위한 방침이오니 양해부탁드립니다.

더 자세한 상황 파악을 위해서는 각 팀의 구성 인원, 합치려는 팀의 제출 여부 등의 추가 정보가 필요합니다.

감사합니다.

팀 구성 시 각 팀원은 적어도 1회 제출 기록이 있어야 합니다.

본 페이지 본문 내용 중 [팀 구성] 부분을 참고해주시기 바랍니다.

넵 감사합니다

안녕하세요 가디님

문의 주신 내용, "inference 시에 test 데이터를 활용하여 scaling을 적용"은 data leakage 부정행위 입니다.
관련 규정: * data scaling 적용 시 test 데이터 셋 활용

test 데이터는 하나 하나가 개별 관측된 독립적인 데이터로 생각해주시기 바랍니다.

감사합니다.

답변 감사합니다. 그런데 이미지 데이터에 대한 scaling이 아니라 환경변수 데이터에 대한 min max scaling를 하려고 하는 것인데 train, test 환경변수 데이터 각각에 대해 min max scaling을 진행할 경우 이것도 data leakage인가요? 데이콘 베이스라인 코드에서도 환경변수 데이터에 대한 min max scaling 코드가 포함되어 있어서 질문드립니다. 

환경변수 또한 마찬가지로, test 데이터를 활용하여 scaling을 한다면 data leakage에 해당됩니다.

베이스라인 코드는 train 데이터만을 활용하여 scaler를 제작한 뒤, 이를 이용해서 test 데이터를 scaling하였기에 data leakage 가 아닙니다.

(test 데이터를 활용하여 scaling = scaler 제작에 test 데이터 사용 = data leakage 부정행위)
(train 데이터를 활용하여 scaling = scaler 제작에 train 데이터 사용 = 부정행위 아님)

감사합니다.

답변 감사드립니다! 그리고 이미지 데이터에 대한 TTA (test time augmentation)을 진행할 경우 테스트 데이터의 통계를 사용하는 것이 아니라면 data leakage가 아닌지 문의드립니다. 질문이 좀 많네요 죄송합니다 ㅠ  

네, TTA를 사용하는 경우에도 테스트 데이터의 통계치를 사용하는 경우가 아니라면 data leakage가 아닙니다.

감사합니다.

답변 감사드립니다. 좋은 저녁 보내세요! 

안녕하세요 재색님

2차 점수 산정 과정에서는 상대적인 점수(평가 분야별 랭킹)와 절대적인 점수(F1-score 혹은 동작 시간)를 함께 사용하여 계산합니다.

리더보드 Private 점수를 예로 들면, 리더보드 1위에게는 30점이 부여되고, 1위의 절대적 점수를 기준으로 이하 순위의 점수를 계산합니다.
계산식: (n위의 절대적 점수 / 1위의 절대적 점수) * 30 
동작 속도 또한 같은 방식으로, 동작 속도 부문 1위에게는 15점이 부여되고, 1위의 동작 시간을 바탕으로 이하 순위의 점수를 계산합니다.

이처럼 각 분야별로 상대적인 점수와 절대적인 점수가 같이 사용되기 때문에, 
정확도와 속도 중 어느 것이 더 점수에 큰 영향을 미칠지는 참가자님들께서 직접 판단해주셔야 합니다.

감사합니다.

네, 알겠습니다.
답변 감사합니다.

안녕하세요 햄비님

동작시간은 추론 코드의 "모델&데이터 로딩 후 데이터 전처리 ~ 추론 ~ 결과 저장 시간"을 측정합니다.

감사합니다.

답변 감사드립니다. 혹시 추론 코드라 함은 test data 1개의 추론 시간인지, 아니면 주어진 모든 test data의 추론 시간에 대해인지 질문드립니다.

추론 코드란 주어진 모든 test data에 대해 추론하여 완전한 결과물을 생성하는 코드를 말합니다. ([대회 안내] - [규칙] - [코드 평가 제출 양식])
즉, 주어진 모든 test data의 추론 시간 총합으로 측정하게 됩니다.

안녕하세요 재색님,

문의에 대해 답변 드립니다.

1. 코드 검증 환경은 NVIDIA GeForce RTX 3090 을 기본 환경으로 하되, 만약 그 이상의 처리 능력이 필요한 경우 Tesla V100-PCIE-32GB를 사용합니다.
     모델 훈련에 대한 검증 과정에서는 NVIDIA GeForce RTX 3090을  4 장까지 사용 가능합니다.  
2. 검증 환경의 CPU는 Intel(R) Core(TM) i9-10920X 이며, 12개의 코어를 활용 가능합니다.

좋은 의견 주셔서 감사합니다. 반영하도록 하겠습니다.

감사합니다.

빠른 답변에 감사드립니다.
답변 주신 것에 좀더 상세히 여쭙고자 합니다.

1. 모델 훈련에 대한 검증 과정에서는 NVIDIA GeForce RTX 3090을  4 장까지 사용 가능합니다.  -> 이것은 데이콘에서 모델 훈련을 진행하여 검증하는 것을 말하는 것이 맞는지요? 그러면 약 90GB의 메모리를 사용한다고 이해하면 될까요?
2. 이번 대회는 동작 속도의 이슈도 중요한데, 추론 과정에서는 NVIDIA GeForce RTX 3090 또는 Tesla V100-PCIE-32GB을 단독으로만 사용한다고 생각하면 될까요? 만약 그렇다면 단순 batch size의 문제 뿐만 아니라, GPU 모델에 따른 속도 차이도 있을 걸로 생각됩니다. 이를 통일해서 검증해야 할 것 같습니다.

답변 부탁드립니다.
감사합니다.

1. 데이콘에서 모델 훈련을 진행하여 검증하는 것이 맞으며, 분산 처리 시 약 90GB까지 이용 가능합니다. 
2. 이번 대회의 목적 상, 추론 검증 과정에서는 GPU 1장을 단독으로만 사용합니다. 
만약 참가자별로 다른 GPU 모델을 사용해야 할 경우에는 모델에 따른 속도 차이도 고려하여 평가하도록 하겠습니다. 

좋은 의견 감사합니다.

네 알겠습니다.
답변 감사합니다.