커뮤니티 대회 교육

2022 AI 대학원 챌린지

LG | 채용 | B-cell | Epitope | Classification | macro-f1

  • moneyIcon 상금 : 총 2,500만원
  • 265명 마감

 

Public 0.6122 코드 공유 (ESM Fine-tunning)

공동작성자

stroke
2022.08.02 17:09 380 조회 language

저희 팀 코드 중 ESM을 이용한 코드 공유합니다.
허깅페이스를 이용하였고, 모델은 마지막 2개 layer를 unfreeze해주어 fine-tunning해주었습니다.
ESM을 사용한 모델이 Transformer encoder를 사용한 모델보다 성능이 안나오는 이유는 pretrained 데이터셋인 UniRef-50는 protein에 대해서 구성된 dataset이라서
epitope인 짧은 peptide의  feature는 잘 가져오지 못한다고 생각하였습니다.
아무래도 1280 dimension이고 layer가 33개이므로 사용한 GPU가 많아 코랩으로 실행하긴 어려울 것 같습니다.

코드
로그인이 필요합니다
0 / 1000