저희는 framework로 pytorch_lightning을 사용합니다.

그래서 pytorch_lightning에서 제공하는 auto_lr_find를 통해 learning rate를 찾고 있습니다.

성능향상에 도움이 되는것 같아서 공유합니다!ㅎㅎ

https://pytorch-lightning.readthedocs.io/en/stable/advanced/lr_finder.html 여기 참고하시면 좋을것 같습니다!