분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
거대모델 경량화: 2025 Samsung AI Challenge 후기 및 수상 소감 (팀명: 박제현)
-----------
본인을 대표하는 이미지 한 장을 첨부해 주세요.

축하합니다, parkprogrammer 님! 수상의 영광을 함께 나누게 되어 기쁩니다. 
우승의 기쁨을 맛본 소감을 한마디로 표현해 주세요.
평소에도 관심이 많았던 LLM관련대회에서 1등(최우수상)을 할수 있게 되어서 너무 기쁩니다.😊
팀의 이야기를 들려주세요.
성균관대학교 소프트웨어학과에서 4학년으로 재학중인 박제현입니다.
여러분을 돋보이게 한 특별한 점은 무엇인가요?
이전 연구실에서 학부 연구생으로 지내면서, LLM Optimization 쪽으로 연구를 했었고,
Transformer 아키텍처나 시퀀스 모델링쪽에 관심이 많았었습니다.
이번 성과의 비결은 무엇이라고 생각하시나요?
Mixture-of-Experts 방법에 대해 어느정도 사전 지식이 있었고, 연구실에서 Task Vector와 관련해서
여러 실험을 돌린 경험으로 환경설정, Pytorch 라이브러리, shell script기반 파이프라인 구축이 수월했습니다.
대회 기간 중 특별히 기억에 남는 순간이 있다면 공유해 주세요.
처음에 작성했던 제안서를 기반으로 코드를 성공적으로 돌렸을때 원하는 만큼의 성능이 나오진 않았지만,
모델이 망가지지(collapse) 않아서 너무나도 다행이였습니다😅. 이후에 방법론의 하이퍼파라미터나
추가적인 최적화와 수학적인 구체화를 하는 데에 있어 확신을 실어주었습니다.
데이터 분석이나 학습 과정에서의 나만의 비법이 있다면요?
첫번째로는 최대한 기존의 방법론들의 한계(Limitations 부분)나 넘어간 부분(blind spot)을 찾는것이
중요시하고, 둘째로는 LLM에만 국한되지 않고, CV나 ML에서 자주 사용되는 기법들중
task에 적합하며, 완전히 이해하고 있는 기법들을 위주로 쌓아올려 저만의 방법론을 만드는 것입니다.
수상을 기념하여 빌 수 있는 한 가지 소원이 있다면?
삼성전자 AI 리서치센터에서 훌륭한 연구원분들과 같이 일하고 논문을 내는 것이 소원입니다.😁
앞으로의 목표와 꿈을 말씀해 주세요.
계속해서 기존에 관심있던 LLM, Optimizer나 Out-Of-Distribution 쪽으로 개인연구를 진행할 것 같습니다.
추후에 NeurIPS나 ICLR같은 저명한 학회에 논문을 투고하고 h-index를 높이는것이 현재로써의 목표입니다.
데이콘 커뮤니티에 바라는 점이 있다면 무엇인가요?
모델 서빙(vllm) 관련해서 메일로 결과물 수집을 담당해주신 DACON 관계자분께 감사드립니다.
성균관대학교 소프트웨어학과 4학년으로서, 기술에 대한 깊은 관심과 탐구심이 이번 결과로 이어졌다는 점이 인상적입니다. 앞으로도 AI와 언어 모델 분야에서 더 많은 활약을 기대할게요! https://melonplayground.io
좋은 주제의 토론입니다. 공유된 아이디어와 예시가 실무에 바로 적용하기 좋고, 모델 성능 개선에 큰 도움이 됩니다. https://besttopgames.net
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
직업정보제공사업 신고번호: J1204020250004
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io |
전화번호: 070-4102-0545
Copyright ⓒ DACON Co.,Ltd All rights reserved
LLM과 Mixture-of-Experts 분야에서의 깊은 이해와 꾸준한 연구 노력이 좋은 결과로 이어진 것 같아요 https://space-waves.co