분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
재현성 관련 질문
대회 진행 중 동일한 프롬프트로 제출했음에도 불구하고 점수가 과도하게 다르게 산출되는 현상을 확인하였습니다. (± 0.01)
이러한 점수 변동은 순위에 직접적인 영향을 줄 정도로 큰 차이를 보이고 있습니다.
대회 규정에 따르면
이라고 명시되어 있으나, 이번 대회는 노코드 방식으로 진행되어 결과 재현성을 보장하기 어려운 상황입니다.
이에 따라, 본선 진출자는 어떤 기준과 절차를 통해 선발되는지 확인 부탁드립니다.
+) 업데이트 이전에는 어느 정도 재현성이 보장되는 것처럼 보였는데, 이후에는 재현성을 확보하기가 쉽지 않은 것 같습니다. 개인적인 경험상 그렇게 느껴지고 있습니다.
네네 아마 그 영향이지 않을까 싶습니다. 그래서 정확한 본선 진출 재현성을 어떤 방식으로 확인되는지에 대해 여쭤본 것입니다. 화이팅입니다!
LLM의 특성상 동일한 프롬프트 제출물에도 다른 결과(점수)가 도출 될 수 있으며, 본 해커톤에서는 제출 시 기록된 리더보드 점수만을 인정합니다.
DACON Co.,Ltd | CEO Kookjin Kim | 699-81-01021
Mail-order-sales Registration Number: 2021-서울영등포-1704
Business Providing Employment Information Number: J1204020250004
#901, Eunhaeng-ro 3, Yeongdeungpo-gu, Seoul 07237
E-mail dacon@dacon.io |
Tel. 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
아마 온도의 영향이지 않을까요..너무 어렵네요