Gradient Vanishing과 Saturation 현상에 대해 질문이 있습니다.

2023.01.19 22:51 706 조회

Vanishing이란 Back Propagation의 과정에서 편미분의 값이 작아서 가중치의 변동 사항이 거의 없는 현상이고,

Saturation이란 Back Propagation의 과정에서 편미분의 값이 0이 되어 가중치의 업데이트가 없는 것이라고 알고 있습니다.

둘 다 Activation에 의해 일어나는 현상이고요.


여기서 질문은 Vanishing과 Saturation이 변동사항 조금이라도 있거나 아님 아예 없음에 대해 구분지어 다른 문제를 일컫는 말인가요, 아님 통상적으로 둘을 비슷한 문제라고 다루나요?