근데 한편으로는 채점할 때 저것도 고려를 할 지도 궁금하네요 지금 1-2-3-4-5-6의 순서가 1-2-3-6-5-4로 대답을 한건데, 사실, 채점 측면에선 코싸인 유사도나 혹은 w2vec이든 등등 임베딩 순서를 고려한다하더라도, 사실은 3-6 에서만 감점먹지 나머지 5-4나 6-5로 역순으로 제시된건 또... 감점을 크게 안먹을 것 같기도 하네요 근데 융자집행이 먼저인지 아니면 나중에인지는 매우 현실에선 중요한건데, 채점에서도 이런게 잘 체킹이 되나 궁금하기도 합니다

답변 순서와 같은 부분은 2차 평가인 전문가 평가 점수에서 차이가 나지 않을 까 생각됩니다. 100점 중 40점입니다

다만 참고로 말씀드리면, 이 이슈 관련하여 저는 입상권 목표로 하고 있지 않아서 크게 상관은 없는데 입상권 목표하시는 분은 다음 참고하시면 되겠습니다 :

저런 특정 표에 대해서 예외처리하는 방법도 생각할 수 있으나 test set의 특정 데이터 양식을 "예견"하고 전처리 하고 rag를 하는 경우는 일종의 data leakage가 될 수 있으니 주의하셔야할 듯 합니다. 물론 train set에서 저런 유사 양식이 나오는 게 확인이되고, train set에서 해결하는 로직을 짠 다음에, pred를 하는 경우는 괜찮을 것으로 보입니다. 하지만, 특정 test set의 pdf에서, 그 test pdf에서만 단독으로 발견가능한(train set엔 없는) 어떤 사안을 test q&a를 맞추기 위해 처리하는건 data leakage로 나중에 코드리뷰때 이슈가 될 수 있습니다.

보통 data leakage가 test set을 학습 시킨뒤 파라미터를 뽑아오는게 주 이슈긴한데(test set에 맞춰서 배치사이즈나 temperature를 조절하는 경우) 이번 대회는 이러한 전처리 또한 test set을 아예 못본다 가정해야하므로, test set에 맞춰서 전처리하는 것도 data leakage로 보입니다

저번 한솔데코 대회의 경우, 데이터가 완전히 텍스트로만 제시되어서 이런 이슈가 크게 없었는데, 이번엔 텍스트와 표가 혼합되어 있어서 더 주의하셔서 입상권 노리시는분들은 참고하셔서 하셔야할 듯 합니다 물론 저보단 잘 아시겠지만요... 또 제 의견일뿐 data leakage가 아닐 수도 있으니 재확인하시면 되겠습니다

모쪼록 한국어 llm 대회는 귀한 만큼, 좋은 인사이트가 나오길 기대합니다...! 

그리고 노파심에 하나 더 말씀드리면, 혹시나 유료 api(gpt4 claude 등등)로 call 해서 pred 하신다음 데이콘에 제출했는데 점수가 비정상적이게 높으면 실격처리될 수도 있을 것 같으니 조심하시길 바랍니다....! 

예전에 공공데이터 관련해서 열린 데이콘 대회에서 test set 정답지가 인터넷에 잘 찾아보면 어디 나와있는 대회가 있었는데,  어떤 분이 그거 그대로 써서 올렸다가 public 기간에 실격처리된게 기억이 나네요 또 예전 krx 대회에선 샤프지수 지나치게 높게 나오면(그것또한 과거 주가지수가 test set이었기때문) 코드 조기 제출하라고 했던 전례도 있으니, 입상권 노리시면 조심하시길 바라겠습니다..

근데 분명히 리더보드상엔 유료 api로 돌려서 제출하신 분도 있을 것 같은데, 막 높을 거라 기대되진 않네요. 보수적으로는 코드 공유에 올라온 자체 f1 스코어 코드사용하여 참고용으로만 쓰시는게 좋을 듯 합니다