Dacon Monthly Shorts - AI vs Human Text Detector Hackathon

안녕하세요 :)

Binary Classification 문제로 정의하여 분석을 진행했습니다.
총 3개의 한국어 언어 모델을 사용했습니다.

* single model 
A) "jhgan/ko-sroberta-multitask" (public: 0.98939, private: 0.97987)
- optimizer=adamw, learning_rate=0.00003, batch_size=64, epochs=10, cv=5, seed=826
B) "kykim/bert-kor-base" (public: 0.98939, private: 0.98896)
- optimizer=adamw, learning_rate=0.00003, batch_size=64, epochs=10, cv=5, seed=826
C) "kykim/funnel-kor-base" (public: 0.98788, private: 0.98961)
- optimizer=adamw, learning_rate=0.00003, batch_size=32, epochs=10, cv=5, seed=826

* ensemble model (soft voting)
A + B 모델을 soft ensemble한 결과는 다음과 같습니다. (public: 0.99091, private: 0.98571)
A + C 모델을 soft ensemble한 결과는 다음과 같습니다. (public: 0.99091, private: 0.98701)
B + C 모델을 soft ensemble한 결과는 다음과 같습니다. (public: 0.99091, private: 0.99416)

* final model (soft voting)
최종 제출은 3가지 모델(A+B+C)을 soft ensemble 하였습니다. (public: 0.99091, private: 0.99156)

NVIDIA A100(40GB)을 사용하여 학습했습니다.

감사합니다.