제1회 신약개발 AI 경진대회

Hugging-face에서 ChemBERT BackBone을 활용할 수 있는 코드 중 일부를 가져왔습니다. 
모델, feature 획득, 데이터 셋 구성하는 법을 py file에서 긁어왔습니다. 

해당 버전의 단점이라고 하면 tokenizer가 BERT와는 다르게 실제적인 배치를 1로만 사용할 수밖에 없다인데, 
그건 accumulate_grad_batches를 활용해서 effective batch size를 키우면 되는 일이라 문제가 되지는 않았습니다. 

제목에 있는 기록은 'DeepChem/ChemBERTa-77M-MTR' archieve를 사용하고, molecualr property는 대회에서 주어진 것만을 사용했을 때 획득했습니다. 1e-5의 낮은 learning rate, AdamP, cosineLR scheduler를 사용했습니다. 

그 외)
*해당 코드의 일부는 GCN을 만들어서 사용하실 수도 있습니다. 그런데 참가자분들이 공통적으로 말씀해주시는 내용대로, GCN 기반의 코드로 학습시켰을때는 33 이하를 기록하기 어려웠습니다. 
*atomic&molecular feature의 사용은 mendeleeve, rdkit, deepchem 그리고 pubchempy까지는 확인을 해보았는데 다른 건 확인을 안해보았습니다. 
*ChemBERT에서 획득된 임베딩을 molecular와 합쳐서 다음 레이어에 제공할 때, 해당 입력을 받는 아키텍쳐에 대해서 깊게 실험하지 않았습니다.


이러한 molecular 데이터는 augmentation을 어떻게 하는지, 전처리 방법은 어떻게 수행되어야 하는지 저보다 상위권에 계신 분들의 방법도 공유되면 좋겠네요. 

9월26일 수정)
private 보드를 지금 확인했는데 생각보다 순위가 높네요.
제 생각이지만, 모델 사이즈 최대한 키우지 않는 방향으로 접근했던게 도움이 되었던 것 같습니다.

감사합니다.