2023 교원그룹 AI OCR 챌린지

알고리즘 | 채용 | 광학문자인식 | Accuracy

  • moneyIcon 상금 : 1,000 만원
  • 1,311명 마감

 

Trocr로 모델 학습 하기.

2023.01.13 15:37 4,452 조회 language

대회를 진행해보면서 여러가지 모델을 사용해봤는데 그 중 아래의 링크에서 Redix6님이 언급하신 구현된 sota 모델 trocr로 학습을 진행해봤습니다.
허깅페이스에서 모델을 공개해서 비교적 간단하게 학습을 진행할 수 있습니다.
https://dacon.io/competitions/official/236042/talkboard/407526?page=1&dtype=recent

코랩에서 코드를 돌렸었는데 무료 코랩으로 모델 학습을 진행시키기엔 2epochs가 한계에서 학습을 제대로 진행하지 못했습니다. 2epochs까지 진행하고 제출 했을 때
성능은 0.44정도 나왔는데 학습을 더 진행하고 augmentation을 진행한다면 더 높은 성능을 기대할 수 있을 것 같습니다.
추가로 여기서 모델의 compute_metrics를 wer과 cer을 사용했는데 음성 인식 task에서 사용하는 평가지표입니다만 수정해주지 않아도 모델 학습이 진행됩니다.
이 부분은 custom metrics으로 수정해주셔도 좋을 것 같습니다.


간단한 설명이지만 혹시 설명이 필요하신 분들은 블로그 참고해주시면 될 것 같습니다.
https://mz-moonzoo.tistory.com/13

남은 대회도 다들 화이팅..!

++) !git clone https://github.com/daekeun-ml/sm-kornlp-usecases.git 
       깃 클론을 하시고 pip install -r requirements.txt을 통해 요구사항을 설치하실 수 있습니다.

코드