축하합니다, 인지킹 님! 수상의 영광을 함께 나누게 되어 기쁩니다. 

 우승의 기쁨을 맛본 소감을 한마디로 표현해 주세요.

• 큰 기대는 하지 않고 떠오른 아이디어를 구현하는 것을 목표로 했는데, 좋은 결과를 얻게 되어 기쁩니다.

 팀의 이야기를 들려주세요.

• 완벽주의 성향이 있어서 다른 사람에게 무언가 맡기는 걸 어려워하는 편입니다. 그런데 ChatGPT와 같은 생성형 AI가 보편화되면서 믿을 수 있는 팀원이 생긴 기분입니다. 이번 대회에서는 가설 검토부터 코드 구현까지 많은 도움을 받았고, 개인으로 참가했지만 사실상 ChatGPT와 한 팀이었다고 해도 과언이 아닙니다.

 여러분을 돋보이게 한 특별한 점은 무엇인가요?

• 체계적으로 실험을 설계하고 차근차근 가설을 검증한 것이 의미 있는 성과로 이어졌다고 생각합니다. 예상보다 많은 변수가 결과에 영향을 주었기 때문에 하나씩 통제해 가며 실험을 진행했고, 그 결과 예상했던 수준의 성과를 얻을 수 있었습니다.

 이번 성과의 비결은 무엇이라고 생각하시나요?

• 틀에 얽매이지 않는 발상이 중요했습니다. 예시 코드에서는 LLM의 "지능"을 활용하는 방식을 제시했고, 저도 처음에는 그 방향을 선택했습니다. 그렇지만 하루 정도 해보니 생각보다 잘 풀리지 않았습니다. BERT와 같은 bi-directional encoder 모델도 써보고, perplexity를 회귀 형태로 맞추는 방식으로도 시도해봤습니다. 여러 가지 시도 끝에 LLM을 decoder 모델로 간주하고 perplexity를 최적화하는 것이 최선이라는 답을 얻을 수 있었습니다. 평소 언어 모델을 다양한 방식으로 활용해 본 경험이 문제를 다각도로 접근하며 유효한 해결책을 찾는 데 도움이 되었습니다.

 대회 기간 중 특별히 기억에 남는 순간이 있다면 공유해 주세요.

• 처음 raw model로 perplexity를 계산해 test accuracy 0.7을 달성했을 때 제가 설정한 방향이 옳다고 느꼈습니다. 그리고 처음으로 fine-tuning한 모델의 test accuracy가 0.9를 넘겼을 때, 제가 틀리지 않았다는 확신을 얻었습니다. '내가 옳다'라는 것이 증명되는 순간은 생각보다 더 기뻤습니다.

 데이터 분석이나 학습 과정에서의 나만의 비법이 있다면요?

• 최신 연구/기술 트렌드를 따라가는 만큼이나, 그 기술의 근간이 되는 원리를 충분히 이해하는 것이 중요하다고 생각합니다. 최근 LLM을 tuning하는 다양한 강화학습 방법이 제안되고 있지만, 이 대회에서는 LLM의 근간이 되는 decoder-only 모델의 causal language modeling 자체가 문제 해결의 키 포인트였습니다.

 수상을 기념하여 빌 수 있는 한 가지 소원이 있다면?

• 얼마 전 학교를 졸업해 현재 구직 중입니다. 제 능력을 충분히 발휘할 수 있고, 업무에서 자신감과 보람을 느끼는 곳에 취업하고 싶습니다.

 앞으로의 목표와 꿈을 말씀해 주세요.

• 생성형 AI 시대에 자연어 처리를 전공한 입장에서 시대가 급변하는 것을 체감하고 있습니다. 사람이 해야 하는 일, 사람만이 할 수 있는 일이 무엇인가에 대한 고민이 듭니다. 그것이 무엇이 되었든, 제 스스로 성취감과 만족감을 느낄 수 있는 일을 찾고 싶습니다.

 데이콘 커뮤니티에 바라는 점이 있다면 무엇인가요?

• Kaggle과 같은 글로벌 플랫폼에서는 영어 중심의 NLP 대회가 열립니다. 그래서 저처럼 한국어 자연어 처리를 주로 다뤄온 사람들은 도전할 곳이 많이 없습니다. 데이콘에서 한국어 NLP 대회가 더 많이 열려 한국어 자연어 처리에 관심있는 사람들이 활동할 수 있는 무대가 더 커졌으면 합니다.