DACON Monthly Korean sentence relation classification Competition

두해님 오랜만이에요 🤗 그저 시간을 갈아넣었을 뿐 ㅎㅎ... 좋게 봐주셔서 감사합니당 💪

반갑습니다 :) span text에 대해서 말씀하시는 거라면 다음과 같았습니다.
- pororo labelled span text를 붙였을 때 -> +0.1%p
- pororo와 electra의 평균치로 span text를 붙였을 때 -> +0.1%p

감사합니다 :)

성문님 안녕하세요 :D 
Test 셋의 premise가 KLUE의 Dev 셋에 포함되어 있는 걸 말씀하시는 것 같습니다.

하지만 훈련 데이터셋에 포함되어있다고 해서, 모든 Fold가 해당 premise를 학습하는 건 아닐 것 같습니다.
즉, StratifiedKFold 같은 경우는 모든 fold가 한 문장쌍 이상(A or A,B or A,B,C)을 본다는 특징이 있고,
이번 대회에 사용한 KFold 같은 경우는 1 fold를 제외하고 나머지 fold가 세 문장쌍(A,B,C)을 보게하도록 강제한 것입니다.

모델로 하여금 더 어려운 Task를 시키는 것이 낫다고 판단했기에, 새로운 문장쌍을 보고 예측하게 한 지표들이 더 믿을만하다고 판단했습니다.
실제로 evaluation metrics 측면에서는 SKF가 KFold보다 더 나은 지표들을 보이지만, 막상 제출했을 때에는 KFold가 0.1%p ~ 0.3%p 더 나은 성능을 보여줬습니다.