분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
HAI(하이)! - Hecto AI Challenge : Ldoun팀 인터뷰
오랜만에 대회 수상을 다시 맛볼 수 있어서 뜻깊었습니다. 대회를 운영 및 주최를 해주신 Hecto 그룹과 데이콘에 감사의 말씀 드립니다.
사실 Public LB 20위 였어서 큰 기대 안하고 있었는데, 막판에 Private 3rd 해서 많이 놀랐습니다. validation score하고 public leaderboard가 많이 달라서 public leaderboard에 overfitting되지 않으려고 노력했던 부분이 좋게 작용한 것 같습니다.
Image Classification Task는 많이 해봐서 빠르게 학습 돌리고, 성과를 낼 수 있었던 점이 제 장점이였습니다.
LoRA가 핵심 포인트라고 생각합니다. 다른 분들 발표에서 Siglip2가 학습하지 않았을 때부터 이번 데이터를 잘 분류 한다는 점에서, catastrophic forgetting에 조금 더 강인한 LoRA가 Full Fine-tuning에 비해 좋은 성과를 보이지 않았을까 생각합니다.
다른 분들 발표를 통해 다른 수상자들의 핵심 아이디어를 접하는 순간이 제일 기억에 남습니다. 시간이 부족해서 다양한 시도를 못했기에 저는 비교적 평범한 Fine-tuning이였던 반면, 다른 분들의 톡톡 튀는 신박한 아이디어가 기억에 남습니다.
Fine-tuning Process는 독특한 데이터가 아닌 이상, 대부분 틀이 비슷하다고 생각해서 저만의 Template code를 만들고 항상 재사용하고 있습니다. 이 덕분에 빠른 실험이 가능했습니다. (https://github.com/Ldoun/Pytorch_Simple_Template)
노트북 새걸로 바꾸고 싶습니다.
연구 경험 잘 쌓아서 목표하는 대학원에 들어가고 싶습니다.
수상자들이 코드를 데이콘에 제출하는게 아니라 코드 공유 혹은 토크 탭에 제출하게 함으로써 대회 종료 이후에도 다른 사람들이 참고할 수 있으면 좋을 것 같습니다.
DACON Co.,Ltd | CEO Kookjin Kim | 699-81-01021
Mail-order-sales Registration Number: 2021-서울영등포-1704
Business Providing Employment Information Number: J1204020250004
#901, Eunhaeng-ro 3, Yeongdeungpo-gu, Seoul 07237
E-mail dacon@dacon.io |
Tel. 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved