월간 데이콘 한국어 문장 관계 분류 경진대회

안녕하세요 FENDI님
좋은 질문 해주셔서 감사합니다.

1. 실례가 안된다면 어떻게 이런 아이디어를 시도하게 되었는지 과정을 여쭙고 싶습니다..!
A) 아래에서 2번의 질문에 대한 답변 중 iii) 케이스를 보시면 그 이유가 더 상세하게 이해되실 것 같습니다.
우선 간단히 설명드리자면, Noise Augmentation을 진행한 데이터만을 가지고 학습하면서, 원본 데이터가 주어졌을 경우에 정답을 맞추어야 모델이 일반화된 성능을 가질 수 있을 것이라 판단했기 때문에 위와 같은 전략을 시도했습니다.

2. 
A) 네 시도해보았습니다. 해당 부분은 여러가지 케이스로 나누어서 실험해보았는데요. 경우에 따라 나누어 결과 공유드리겠습니다

i) 따로 Augmentation없이 KLUE Official Dev Data만을 KFold Split 전에 학습데이터에 추가하는 방법
- 기존 Dacon 제공 데이터셋만 사용했을 때보다 Public Score 기준 0.008 상승 (대략 0.881 => 0.889)

ii) 따로 Augmentation없이 KLUE Official Dev Data만을 KFold Split 후에 학습데이터에 추가하는 방법
- 전략 i)와 비슷한 수준의 Public Score를 보임

iii) Augmentation을 적용한 데이터와 KLUE Official Dev Data 모두 학습데이터에 추가하는 방법
- i)와 ii)보다 Public Score 기준 소폭 상승 (대략 0.001 정도)
- 원본데이터와 Noise가 가미된 데이터가 함께 학습에 사용되다 보니, 손상된 데이터의 원본을 모델이 알고 학습을 진행하게 되었던 것 같습니다.
- 이런 학습 방식을 가져가게 되면 결국 손상된 데이터를 통해 모델의 일반화 성능을 도모하려던 전략이 의미가 없어지게 된 것은 아닐까 살짝 의구심이 들었습니다.

iv) Augmentation을 적용한 데이터는 학습데이터에 추가, KLUE Official Dev Data는 Validation Set에 추가하는 방법
- i)와 ii)보다 유의미한 성능 향상을 가져다 주었습니다. (Public Score 기준 0.008 상승)
- 이후 다양한 Noise Augmentation 종류의 데이터들을 바꾸어 추가해가며 비교 실험하였고, 현재 노트북 코드에 있는 데이터들을 사용하였을 때 가장 높은 Public Score인 0.902를 기록하게 되었습니다.

각 케이스 별로 나머지 컨디션들은 최대한 통제하려 노력하면서 시도한 실험 비교 결과이지만, 수많은 반복실험을 거친 것은 아니기 때문에 높은 신뢰도를 가지는 결과는 아닐 것입니다. 따라서 참고만 해주시면 감사하겠습니다 
(1000자 제한이라 여러 개의 댓글로 나누어 답변드리게 되었습니다 ㅎㅎ)

안녕하세요 한강님
해당 함수 random_masking_df 는 
이전에 공유드렸던 코드에서 그 적용결과를 보실 수 있으십니다.
- https://dacon.io/competitions/official/235875/codeshare/4625

간단히 설명드리자면, 해당 함수가 적용되면 Premise와 Hypothesis 각각 문장에 Random Masking을 취합니다.
그리고 threshold는 전체 데이터 셋 중 어느 정도 비율의 row에 해당 Random Masking을 취할 지를 결정하는 인자입니다.

말씀주신대로 threshold를 1.0으로 적용한 데이터들도 존재합니다.
이에 대한 이유는 해당 데이터들이 Augmentation이 적용되었지만 원본 데이터의 정보를 너무 많이 가지고 있기 때문에 모든 Rows에 대하여 Masking을 취해준 것이라고 이해해주시면 될 것 같습니다.

좋은 질문 감사합니다 ㅎㅎ

안녕하세요 소현님.
경력은 따로 없고, 현재 NLP 업무를 다루는 인턴으로서 재직 중에 있습니다.
리서치 중심의 공부는 대부분 개인적으로 하고 있어 아이디어와 기술적인 측면에서 아직 많이 부족하다고 생각하고,
개인적으로 이번 대회 실력자 분들의 코드 공유에 많이 배워가는 것 같습니다.