2022 관광데이터 AI 경진대회

알고리즘 | 비전 | 언어 | 분류 | Weighted f1 score

상금 : 1,000 만원
1,292명 마감

연습

대회안내 데이터 코드 공유 토크 리더보드

제출

[Private 26위, 0.8559] RoBERTa (ver.TensorFlow)

GNOEYHEAT

2022.10.31 17:35 1,972 조회 language

안녕하세요 :)

Text Dataset만 사용하여 학습했습니다.
최종 private score는 공유드린 code를 ensemble 하여 제출했습니다.

1. Preprocessing
  1) Text cleaning
    - Extract Korean only
    - Remove double spaces
  2) Text correcting
    - hanspell

2. Modelling
  1) RoBERTa
    - "klue/roberta-large"

3. Training
    - LearningRateScheduler
    - 3 fold soft voting ensemble

감사합니다.

코드

댓글 4개

로그인이 필요합니다

comment

0 / 1000

cocos

2022.11.02 23:28

안녕하세요 코드 공유해주셔서 감사드립니다.

저는 머신러닝 초보이고 데이콘 입문자입니다 공유 주신 코드 실행 시 epoch30까지도 f1_score가 0.07~0.08에서 상승하지 않는데
해당 코드가 참고적인 코드일뿐 베이스라인 코드로는 실제 0.85정도까지 학습될 수 있는 코드가 아닌것인가요?
아래의 다른 공유 코드 또한 마찬가지여서 질문을 드립니다.

GNOEYHEAT

2022.11.03 01:08

공유 드린 code는 0.83~4 정도의 성능으로 기억하고 있습니다.
학습에 사용한 GPU는 A6000으로 argument는 default 값과 동일합니다.

실험을 하실 때 batch_size 값이 32보다 작은지 확인해 보시기 바랍니다.
또한, learning_rate를 조절하셔서 초기 epoch에서도 loss가 감소하고 f1_score가 증가하는지 확인하시기 바랍니다.

감사합니다 :)