도배 하자 유형 분류 AI 경진대회

알고리즘 | 비전 | 분류 | MLOps | Weighted F1 Score

  • moneyIcon 상금 : 1,000 만원
  • 2,093명 마감

 

timm 재현성문제 있으신분 있으신가요?

2023.05.10 09:48 1,489 조회

def seed_everything(seed):

    random.seed(seed)

    os.environ['PYTHONHASHSEED'] = str(seed)

    np.random.seed(seed)

    torch.manual_seed(seed)

    torch.cuda.manual_seed(seed)

    torch.backends.cudnn.deterministic = True

    torch.backends.cudnn.benchmark = True


seed_everything(CFG['SEED']) # Seed 고정


세팅진행하고 하는데, 재현성이 보장이 안되는 현상이 발생하고 있네요..

다들 재현성 보장되시나요??

같은 코드를 돌려도 점수차가 심히날때가 존재하네요;;

로그인이 필요합니다
0 / 1000
제출수늘려주세요
2023.05.10 10:28

주피터로 작성하셨나요 ? shell로 실행하면 seed가 유지된다고 들었습니다.

다냐니라
2023.05.10 11:58

네 주피터 작성입니다. 음.. 항상 처음부터 다시 돌려서 seed가 유지 될거라고 판단했는데 아닌가보네요.. 
다른 머신러닝 대회때는 seed가 잘 유지되서 DL 테스크에서도 그런가 싶었는데 아닌가보군요... 

EISLab_이희원
2023.05.10 13:35

benchmark를 False로 하셔야 모델 재현성이 보장됩니다.
True일 때는 알고리즘이 자동으로 튜닝 되어, 점수차가 납니다.

다냐니라
2023.05.11 08:55

아항... 저도 그부분이 가장 의심이 많이 됐는데.. 그렇군요.. 감사합니다. 공부하여 정리를 좀 해놔야 겠네요