월간 데이콘 법원 판결 예측 AI 경진대회

이번에 논문 베이스 모델에서 오픈소스 모델까지 사용 가능한 모델의 폭이 넓어져서, 호기롭게 도전해본 Alpaca-LoRA fine-tuning입니다.
아주 약간의 EDA와 Augmentation 기법도 있으니 보고가시면 좋을 것 같습니다.

* 모델 Github : https://github.com/tloen/alpaca-lora
* Text Augmentation 코드 참고 : https://www.kaggle.com/code/swarajshinde/eda-data-augmentation-techniques-for-text-nlp/notebook
* 파인튜닝 코드 참고 : https://www.youtube.com/watch?v=aUXwVp4eUH4&t=421s (유튜브 : 빵형의 개발도상국)
* 에러 발생 시 참고 : https://github.com/tloen/alpaca-lora/issues/483

예측까지 하고 싶었으나, 512 tokens 기준 사건 case 하나 당 예측 시간이 약 40초 정도 걸리더라구요...
Test 데이터에 대해 다 예측하려면 A100 GPU를 꽤 많이 돌려놔야 하는데, 제가 그럴만한 예산이 없어서... ㅎㅎ 
도움이 됐으면 해서 코드를 공유합니다.
2~3건 정도 Test 데이터 예측을 했는데, 올린 PDF 파일처럼 output으로 잘 나오는 것을 확인했습니다.
(판결결과가 정확한지는 모르겠지만…)
여유가 있으신 분들이라면 아마 selenium이나 beautifulsoup을 이용하거나, Ajax request / response 등을 이용하는 등,
더 기발한 방법을 통해서 예측한 output을 가져올 수 있을거라 생각합니다.

날도 더워지는데 다들 건강 챙기고 열심히 하셔서 좋은 결과 얻으시기 바랍니다!