저해상도 조류 이미지 분류 AI 경진대회

자세히 어떤 데이터셋을 사용해서 학습했는지는 꼼꼼하게 확인하지 않아서 규칙위반일 수 있겠네요.
huggingface의 timm에서 Pretrain Dataset으로 ImageNet 적혀있는걸 보고 사용했거든요.

알려주셔서 감사합니다.

다시한번 찾아보니까 convnextv2_large.fcmae_ft_in22k_in1k_384모델은 문제가 안되는데
저 포함해서 eva02모델 쓰신분들 전부 외부 데이터 사용한것같네요.. 파이썬초보만님의 말씀이 맞았었네요..

An EVA02 image classification model. Pretrained on ImageNet-22k with masked image modeling (using EVA-CLIP as a MIM teacher) and fine-tuned on ImageNet-22k then on ImageNet-1k by paper authors.

MIM teacher로 EVA-CLIP사용했다고 나와있는데 EVA-CLIP이 
https://laion.ai/blog/laion-400-open-dataset
https://github.com/baaivision/EVA/tree/master/EVA-02/asuka/eva_clip
해당 데이터셋으로 학습되었다고 나와있네요.

이렇게 학습한 EVA-CLIP모델을
https://github.com/baaivision/EVA/tree/master/EVA-02/asuka
해당 링크 pre-training부분에서 사용하네요..

토크에서 dacon쪽에서는 문제가 없다고 나와있긴 한데 어떻게될지 모르겠네요..
eva02모델이 외부데이터 미사용으로 간주되면 규칙위반은 아닌 것 같습니다. 죄송합니다

음 그럼 eva모델은 괜찮은건지 잘 모르겠네요..
"An EVA image classification model. Pretrained on ImageNet-22k with masked image modeling (using EVA-CLIP as a MIM teacher) and fine-tuned on ImageNet-22k then on ImageNet-1k by paper authors."

https://huggingface.co/timm/eva_large_patch14_196.in22k_ft_in22k_in1k
해당 링크에 Eva모델도 말씀해주신 EVA-CLIP을 사용한것 같은데...
어렵네요 ㅎㅎ;; 뭐 위반이면 어쩔수 없죠! 

다냐니라님 말고도 저포함해서 지금 상위권분들 solution보시면 eva02모델 사용해서 eva02모델이 규칙위반이면 상위권분들이 전부 규칙위반으로 간주될 것 같습니다. dacon측에서는 문제가 없다고 하긴해서 어떻게 될지는 모르겠습니다. 
정리하자면 eva02모델이 규칙에 위배되지 않으면 다냐니라님 포함해서 상위권분들은 규칙위반을 하지 않은 것이고 eva02모델이 문제가 있으면 상위권분들 전부 규칙위반인거라고 생각하시면 됩니다.

다냐니라님이 사용하신 모델은 
eva02_large_patch14_448.mim_in22k_ft_in22k_in1k 입니다.
 
저희를 포함해서 상위권분들 그리고 고세구님이 사용한 모델은 
eva_large_patch14_196.in22k_ft_in22k_in1k 이고
 
https://dacon.io/competitions/official/236251/talkboard/411702?page=1&dtype=recent
주최 측에서 basslibrary님 질문을 통해서 사용 가능하다고 한 모델 역시도 eva_large_patch14_196.in22k_ft_in22k_in1k 이며 eva 모델과 eva02 모델은 다른 모델입니다.
 
사용가능여부는 주최 측에서 판단하지 않을까 싶습니다.

두 모델 다 방법론은 동일하고 timm에서의 설명도 같습니다.
An EVA image classification model. Pretrained on ImageNet-22k with masked image modeling (using EVA-CLIP as a MIM teacher) and fine-tuned on ImageNet-22k then on ImageNet-1k by paper authors.

여기서 MIM teacher로 EVA-CLIP을 사용했다고 나와있는데
https://github.com/baaivision/EVA/tree/master/EVA-CLIP
전부다 외부데이터 사용했습니다.

그래서 eva_large_patch14_196.in22k_ft_in22k_in1k 모델이 규칙위반이 아니라면 eva02_large_patch14_448.mim_in22k_ft_in22k_in1k모델 또한 규칙위반이 아니라고 생각합니다.
이부분은 dacon측에서 잘 판단할 것이라고 생각합니다.

안녕하세요 데이콘입니다.
사용하려는 모델의 사전 학습 과정에서 Merged-38M와 같은 규정 외 데이터셋이 포함된 데이터셋으로 사전 학습된 모델은 사용이 불가능한 모델입니다.
이런 경우에는 'eva02_large_patch14_448.mim_m38m_ft_in22k' 와 같이 m38m 으로 사전학습된 데이터셋 명이 표시 되어있습니다.
물론 EVA 계열 모델의 경우, 지식 증류에 활용되는 EVA-CLIP 모델이 규정 외 다른 데이터셋으로 학습되었을 수 있으나, 이 경우에는 사용하려는 모델이 직접적으로 해당 데이터셋으로 사전학습 되었다고 볼 수 없다고 판단됩니다. 하지만, 지식 증류 과정에서 직접적으로 규정 외 데이터셋을 활용하는 'eva02_large_patch14_448.mim_m38m_ft_in22k' 와 같은 모델은 명백하게 사용이 불가능합니다.

따라서, 위 논의에서 언급된 
convnextv2_large.fcmae_ft_in22k_in1k_384
eva_large_patch14_196.in22k_ft_in22k_in1k
eva02_large_patch14_448.mim_in22k_ft_in22k_in1k
모두 사용 가능한 모델입니다.

감사합니다.

옹.. 명확해졌네요 감사합니다! 

빠른 답변 감사드립니다.

답변 감사합니다 !