[1주년 기념] 데이스쿨 최대 40% 할인 🎁
분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
카메라 이미지 품질 향상 AI 경진대회
1024 patch 학습
모델 학습 시, patch size가 크면 클수록 inference가 빠른것은 다들 알고있으실 것 같습니다.
관련하여 1024 정도의 큰 사이즈 patch를 학습하면 NaN이 발생합니다. (smp 모델 기준)
이 경우, gradient clipping을 사용하면 해결 가능합니다.
```
torch.nn.utils.clip_grad_norm_(model.parameters(), 5)
```
엄청 큰 사이즈로도 해보셨군요
성능 향상에 도움이 됐는지 궁금하네요ㅎㅎ
음 성능 자체는 학습이 느려서 많이 돌려보지않았습니다만, 기존에 진행하던 작은 패치가 더 좋았습니다.
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io | 전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
삭제된 댓글입니다