자율주행 센서의 안테나 성능 예측 AI 경진대회

왕초보 질문) 결과물 제출하지 않고서는 score를 print 해볼 수 없는 건가요?

2022.08.12 09:55 1,564 Views

test data의 y feature를 알 방법이 없으니 당연한 걸까요?


그리고 public score나 private score가 무슨 차이/의미인지 모르겠는데, 이것도 설명해주시면 감사하겠습니다!

로그인이 필요합니다
0 / 1000
kuhytd
2022.08.12 10:22

리더보드에서 보여지는 점수는 public score 입니다.
test data가 총 100개라면 public score는 30개의 데이터로 나온 점수입니다.
나머지 70개로 매긴 점수가 private score입니다.

임지은99
2022.08.12 15:14

감사합니다!

lastdefiance20
2022.08.12 15:12

결과물을 제출하지 않고서 성능을 어느정도 알 수 있는 방법으로는 train data를 sklearn에서 제공하는 train_test_split이라는 함수나 다른 방식을 사용해서 train set(학습셋)과 valid set(검증셋)으로 나눠주어야 합니다.

이후 train set을 모델에 학습시키고 valid set을 사용해 대회안내 페이지에서 dacon이 제공한 nrmse score 함수를 이용해서 local에서 어느정도 성능을 예측할 수 있으며, 그중에 가장 잘 나온 것을 제출해서 public score이 얼마나 나오는지 local에서 측정한 점수랑 얼마나 비슷한지 알아보고 접근할 수 있습니다.

public, private는 윗분이 설명해주신게 맞으며, 최종 등수를 매길때는 private점수를 사용해 점수를 매깁니다.

임지은99
2022.08.12 15:14

랜덤하게 나누는 거니까 리더보드 점수랑 완전히 같지는 않겠네요? 감사합니다^^

Saturday.K
2022.08.13 12:13

랜덤하게 나눠서가 아니라 다른 데이터로 점수를 내기 때문에 스코어가 다른겁니다. 
TRAIN_DATA  |-> TRAIN_SET
                             |-> VALID_SET  : 이 데이터로 VALID SCORE를 생성해서  Public Score, Private Score를 예측

TEST_DATA     |-> PUBLIC_SET(30%)    : Public score, 리더보드 공개
                             |-> PRIVATE_SET(70%)   :Private Score, 비공개

임지은99
2022.08.16 11:16

이해되었습니다 감사합니다!

용머리
2022.08.13 20:31

대회 규칙에 평가산식이 따로 설정되어있습니다
평가 산식 : Normalized RMSE (NRMSE)
def lg_nrmse(gt, preds):
    # 각 Y Feature별 NRMSE 총합
    # Y_01 ~ Y_08 까지 20% 가중치 부여
    all_nrmse = []
    for idx in range(1,15): # ignore 'ID'
        rmse = metrics.mean_squared_error(gt[:,idx], preds[:,idx], squared=False)
        nrmse = rmse/np.mean(np.abs(gt[:,idx]))
        all_nrmse.append(nrmse)
    score = 1.2 * np.sum(all_nrmse[:8]) + 1.0 * np.sum(all_nrmse[8:14])
    return score

임지은99
2022.08.17 16:44

삭제된 댓글입니다

이전 글
[DACON 답변 요청] 평가 대상자 선정 문의
Competition - 팔당댐 홍수 안전운영에 따른 한강 수위예측 AI 경진대회
Likes 5
Views 1,178
Comments 3
2년 전
현재 글
왕초보 질문) 결과물 제출하지 않고서는 score를 print 해볼 수 없는 건가요?
Competition - 자율주행 센서의 안테나 성능 예측 AI 경진대회
Likes 8
Views 1,564
Comments 7
2년 전
다음 글
Test set 개수 문의
Competition - 2022 Samsung AI Challenge (3D Metrology)
Likes 2
Views 986
Comments 1
2년 전