도배 하자 유형 분류 AI 경진대회

알고리즘 | 비전 | 분류 | MLOps | Weighted F1 Score

Prize : 1,000 만원
2,093명 마감

Practice

Overview Data Code (share) Talk Leaderboard

Submission

timm 재현성문제 있으신분 있으신가요?

다냐니라

2023.05.10 09:48 1,492 Views

def seed_everything(seed):

random.seed(seed)

os.environ['PYTHONHASHSEED'] = str(seed)

np.random.seed(seed)

torch.manual_seed(seed)

torch.cuda.manual_seed(seed)

torch.backends.cudnn.deterministic = True

torch.backends.cudnn.benchmark = True

seed_everything(CFG['SEED']) # Seed 고정

세팅진행하고 하는데, 재현성이 보장이 안되는 현상이 발생하고 있네요..

다들 재현성 보장되시나요??

같은 코드를 돌려도 점수차가 심히날때가 존재하네요;;

Comments 4개

로그인이 필요합니다

comment

0 / 1000

제출수늘려주세요

2023.05.10 10:28

주피터로 작성하셨나요 ? shell로 실행하면 seed가 유지된다고 들었습니다.

다냐니라

2023.05.10 11:58

네 주피터 작성입니다. 음.. 항상 처음부터 다시 돌려서 seed가 유지 될거라고 판단했는데 아닌가보네요..
다른 머신러닝 대회때는 seed가 잘 유지되서 DL 테스크에서도 그런가 싶었는데 아닌가보군요...

EISLab_이희원

2023.05.10 13:35

benchmark를 False로 하셔야 모델 재현성이 보장됩니다.
True일 때는 알고리즘이 자동으로 튜닝 되어, 점수차가 납니다.

다냐니라

2023.05.11 08:55

아항... 저도 그부분이 가장 의심이 많이 됐는데.. 그렇군요.. 감사합니다. 공부하여 정리를 좀 해놔야 겠네요

📣 댓글 작성 창의 위치가 댓글 리스트 상단으로 이동하였습니다!

List

validation시 weighted f1 score 문의

Competition - 도배 하자 유형 분류 AI 경진대회

현재 글

timm 재현성문제 있으신분 있으신가요?

Competition - 도배 하자 유형 분류 AI 경진대회

Likes 2

Comments 4

2년 전

그.. test 이미지 라벨링이 안 되어 있는데

Competition - 도배 하자 유형 분류 AI 경진대회