축하합니다, 한현규님! 수상의 영광을 함께 나누게 되어 기쁩니다. 

 우승의 기쁨을 맛본 소감을 한마디로 표현해 주세요.

• 좋은 결과로 무사히 마무리 지을 수 있어 기쁩니다.

 팀의 이야기를 들려주세요.

• 팀명은 제 본명이며 원래는 혼자서 모든 작업을 진행하였지만 시험 기간과 겹치게 되어 ppt 제작만은 알고지내던 동아리 부원에게 부탁하게 되었고 그렇게 팀이 결성되었습니다.

 여러분을 돋보이게 한 특별한 점은 무엇인가요?

• 스케일 확장을 통한 퍼포먼스 향상이라고 생각합니다. 또한 스케일링에서 불안정해지는 학습을 안정적으로 이끈 테크닉도 저희 팀의 강점이었다고 생각합니다.

 이번 성과의 비결은 무엇이라고 생각하시나요?

• 상대적으로 많은 시간과 비용을 들인 점이 핵심이라고 생각합니다. 특별한 데이터세트와 특별한 전처리는 없었습니다. 단지 더 큰 사전학습 모델, 더 큰 projection head를 사용한 것이 좋았던 성과의 모든 것입니다.

 대회 기간 중 특별히 기억에 남는 순간이 있다면 공유해 주세요.

• 대학생에게는 부담이 될 정도의 GPU 자원을 빌려서 수십 시간을 임베딩하였는데 코딩 실수로 잘못된 결과를 얻어 그 좌절감으로 6개비 연달아 줄담배를 태운 것이 가장 기억에 남습니다.

 데이터 분석이나 학습 과정에서의 나만의 비법이 있다면요?

• 딥러닝 모델의 임베딩은 많은 정보가 압축된 고차원 벡터입니다. 이러한 벡터를 원하는 형태로 가공 및 활용하기 위해서는 나름 조심스러운 접근이 필요합니다. 저의 경우 히든 레이어들의 차원수를 점진적으로 확장, 축소하여 정보손실은 최소화하였고 잔차연결 그리고 그와 관련된 여러 기법들을 적극적으로 사용하였습니다. 또한 아키텍처의 스케일을 키울 때는 단계적으로 학습하였습니다. 가령 이전 아키텍처와 중복되는 구조는 가중치를 복사를 하거나 학습 초반부에 이전 모델을 교사로 삼아 증류 학습을 진행하는 등의 방식입니다.

 수상을 기념하여 빌 수 있는 한 가지 소원이 있다면?

• 인공지능이 모든 것을 해결해줄 특이점이 하루 빨리 왔으면 좋겠습니다.

 앞으로의 목표와 꿈을 말씀해 주세요.

• 인공지능, 특히 생물학 관련 인공지능 개발 능력으로 돈 버는 것이 목표이자 꿈입니다.

 데이콘 커뮤니티에 바라는 점이 있다면 무엇인가요?

• 더 많은 생물학 관련 인공지능 대회를 부탁합니다.