제 2회 컴퓨터 비전 학습 경진대회

월간 데이콘 12 | 컴퓨터 비젼 | multi-label classification | 도커 제출

  • Prize : 100만원
  • 1,031명
  • 마감
Join Competition

 

다양한 Learning Rate Scheduler(pytorch)

Follower 10 Following 23
2021.02.12 16:23 6,087 Views language
11
comments 7
8
2

이번 노트북에서는 다양한 Learning Rate Scheduler 에 대해 간단히 알아보도록 하겠습니다.

공부하면서 공유하면 좋을 내용들을 올리고 있습니다. 혹시 잘못 된 부분이 있다면 댓글 부탁드리겠습니다. :)

다들 새해 복 많이 받으세요

Code
DACON.JIN
2021.02.12 16:26

저는 주로  CosineAnnealingLR 또는 CosineAnnealingWarmRestarts 를 사용합니다. :)

찬픽
2021.02.28 23:59

안녕하세요 jin님! 두 가지 방법을 선호하시는 이유가있으실까요??

DACON.JIN
2021.03.02 11:16

안녕하세요. 찬픽님 개인적으로 가장 큰 이유는 위 두가지를 사용해서 각 밴치마크 데이터셋에서 SOTA(state of the art) 를 달성한 모델이 많았다는 점입니다. 두번째는 cyclic 한 형태의 스케줄러가 우리가 목표로하는 Minima 에 도달하기 위한 합리적인? 접근이라고 생각했습니다. 
아래 참고 자료 남기겠습니다. 이미지를 보시면 이해가 조금 더 수월하실 것 같습니다.

- https://ruder.io/deep-learning-optimization-2017/
- https://paperswithcode.com/method/cosine-annealing

킹왕짱정혁
2021.02.13 23:29

감사합니다. 새해 복 많이 받으세요!

DACON.JIN
2021.03.02 11:16

감사합니다. 복 많이 받으세요 :)

OPEN_해인이
2021.05.16 00:49

 UserWarning: To get the last learning rate computed by the scheduler, please use `get_last_lr()`  warnings.warn("To get the last learning rate computed by the scheduler, "

이런 에러가 뜹니다. 무슨 이유이고 어떻게 해결해야 되는지 아시나요. 감사합니다.

DACONIO
2021.09.02 10:15

안녕하세요. OPEN_해인이님
오류가 어느부분에서 나는지 알 수 있을까요?

로그인이 필요합니다
0 / 1000