월간 데이콘 제 2회 컴퓨터 비전 학습 경진대회

알고리즘 | CV | 분류 | 제어 | Accuracy

상금 : 100만원
1,201명 마감

연습

대회안내 데이터 코드 공유 토크 리더보드

제출

다양한 Learning Rate Scheduler(pytorch)

DACON.JIN

2021.02.12 16:23 33,938 조회 language

이번 노트북에서는 다양한 Learning Rate Scheduler 에 대해 간단히 알아보도록 하겠습니다.

공부하면서 공유하면 좋을 내용들을 올리고 있습니다. 혹시 잘못 된 부분이 있다면 댓글 부탁드리겠습니다. :)

다들 새해 복 많이 받으세요

코드

댓글 7개

로그인이 필요합니다

comment

0 / 1000

DACON.JIN

2021.02.12 16:26

저는 주로 CosineAnnealingLR 또는 CosineAnnealingWarmRestarts 를 사용합니다. :)

찬픽

2021.02.28 23:59

안녕하세요 jin님! 두 가지 방법을 선호하시는 이유가있으실까요??

DACON.JIN

2021.03.02 11:16

안녕하세요. 찬픽님 개인적으로 가장 큰 이유는 위 두가지를 사용해서 각 밴치마크 데이터셋에서 SOTA(state of the art) 를 달성한 모델이 많았다는 점입니다. 두번째는 cyclic 한 형태의 스케줄러가 우리가 목표로하는 Minima 에 도달하기 위한 합리적인? 접근이라고 생각했습니다.
아래 참고 자료 남기겠습니다. 이미지를 보시면 이해가 조금 더 수월하실 것 같습니다.

- https://ruder.io/deep-learning-optimization-2017/
- https://paperswithcode.com/method/cosine-annealing

킹왕짱정혁

2021.02.13 23:29

감사합니다. 새해 복 많이 받으세요!

DACON.JIN

2021.03.02 11:16

감사합니다. 복 많이 받으세요 :)

OPEN_해인이

2021.05.16 00:49

UserWarning: To get the last learning rate computed by the scheduler, please use `get_last_lr()` warnings.warn("To get the last learning rate computed by the scheduler, "

이런 에러가 뜹니다. 무슨 이유이고 어떻게 해결해야 되는지 아시나요. 감사합니다.