제1회 Medical AI (MAI) 경진대회

평가지표 관련 질문

2024.10.12 19:58 1,730 Views

안녕하세요 데이콘 수행하는 중에 평가지표 재현에 어려움을 겪고 있어 질문드립니다!

HEG와 HVG가 무엇인지 모르지만, 참가자가 임의로 선별한다고 가정하였을 때 아래와 같이 코드로 평가지표를 재현하고자 하는데, 실제 제출 값과 차이가 있어서 평가지표 계산 코드 공유나 별도의 도움 받을 수 있을지 문의드립니다!

감사합니다

*제가 작성한 평가지표 코드입니다

def calculate_score(predictions, targets, heg_idx, hvg_idx):
    """
    GPU에서 HEG와 HVG에 대한 score 계산
    predictions: 모델의 예측값 (batch_size, num_genes) - torch.Tensor
    targets: 실제 유전자 발현값 (batch_size, num_genes) - torch.Tensor
    heg_idx: HEG에 해당하는 유전자 인덱스 리스트
    hvg_idx: HVG에 해당하는 유전자 인덱스 리스트
    """
    # 각 샘플에 대한 Pearson 상관계수 계산 (MeanCorrCells)
    mean_corr_cells = pearson_corr(predictions.T, targets.T).mean()    # 유전자에 대한 상관계수 중 최대값 (MaxCorrGenes)
    max_corr_genes = pearson_corr(predictions, targets).max()    # HEG에 해당하는 유전자에 대한 상관계수의 평균 (HEGCorr)
    heg_corr = pearson_corr(predictions[:, heg_idx], targets[:, heg_idx]).mean()    # HVG에 해당하는 유전자에 대한 상관계수의 평균 (HVGCorr)
    hvg_corr = pearson_corr(predictions[:, hvg_idx], targets[:, hvg_idx]).mean()    # 최종 점수 계산
    score = torch.max((mean_corr_cells + max_corr_genes + heg_corr + hvg_corr) / 4, torch.tensor(0.0).to(predictions.device))
    return score
Login Required
0 / 1000
해협지
2024.10.21 16:52

HEG나 HVG리스트를 임의로 선별하는 과정에서 오차가 많이 발생해서가 아닐까요? 저도 평가지표 재현을 해보려고 하는데 너무 어렵네요 ㅠㅠ

bbeat2782
2024.10.27 14:15

공식 답변은 받을 수 없는걸까요?