학습률을 키우면 손실이 빨리 내려갈 것 같아 스텝을 크게 잡았다가, 곡선이 튀고 실험마다 결과가 달라지는 장면을 정리했습니다.

• 학습률만 한 단계씩 바꿔 baseline과 비교하는 방법

• seed·에폭·배치를 한꺼번에 바꾸지 않는 이유

• 발산·진동이 보이면 직전 값으로 되돌리는 감각

원문: https://daker.ai/community/learning-rate-intuition-step-stabilization