2022 AI 대학원 챌린지

LG | 채용 | B-cell | Epitope | Classification | macro-f1

상금 : 총 2,500만원
304명 마감

연습

대회안내 데이터 코드 공유 토크 리더보드

제출

Public 0.6122 코드 공유 (ESM Fine-tunning)

emptymoon

공동작성자

2022.08.02 17:09 1,610 조회 language

저희 팀 코드 중 ESM을 이용한 코드 공유합니다.
허깅페이스를 이용하였고, 모델은 마지막 2개 layer를 unfreeze해주어 fine-tunning해주었습니다.
ESM을 사용한 모델이 Transformer encoder를 사용한 모델보다 성능이 안나오는 이유는 pretrained 데이터셋인 UniRef-50는 protein에 대해서 구성된 dataset이라서
epitope인 짧은 peptide의 feature는 잘 가져오지 못한다고 생각하였습니다.
아무래도 1280 dimension이고 layer가 33개이므로 사용한 GPU가 많아 코랩으로 실행하긴 어려울 것 같습니다.

코드