분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
카메라 이미지 품질 향상 AI 경진대회
1024 patch 학습
모델 학습 시, patch size가 크면 클수록 inference가 빠른것은 다들 알고있으실 것 같습니다.
관련하여 1024 정도의 큰 사이즈 patch를 학습하면 NaN이 발생합니다. (smp 모델 기준)
이 경우, gradient clipping을 사용하면 해결 가능합니다.
```
torch.nn.utils.clip_grad_norm_(model.parameters(), 5)
```
엄청 큰 사이즈로도 해보셨군요
성능 향상에 도움이 됐는지 궁금하네요ㅎㅎ
음 성능 자체는 학습이 느려서 많이 돌려보지않았습니다만, 기존에 진행하던 작은 패치가 더 좋았습니다.
DACON Co.,Ltd | CEO Kookjin Kim | 699-81-01021
Mail-order-sales Registration Number: 2021-서울영등포-1704
Business Providing Employment Information Number: J1204020250004
#901, Eunhaeng-ro 3, Yeongdeungpo-gu, Seoul 07237
E-mail dacon@dacon.io |
Tel. 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved
Deleted Comment