분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
Gradient Vanishing과 Saturation 현상에 대해 질문이 있습니다.
Vanishing이란 Back Propagation의 과정에서 편미분의 값이 작아서 가중치의 변동 사항이 거의 없는 현상이고,
Saturation이란 Back Propagation의 과정에서 편미분의 값이 0이 되어 가중치의 업데이트가 없는 것이라고 알고 있습니다.
둘 다 Activation에 의해 일어나는 현상이고요.
여기서 질문은 Vanishing과 Saturation이 변동사항 조금이라도 있거나 아님 아예 없음에 대해 구분지어 다른 문제를 일컫는 말인가요, 아님 통상적으로 둘을 비슷한 문제라고 다루나요?
DACON Co.,Ltd | CEO Kookjin Kim | 699-81-01021
Mail-order-sales Registration Number: 2021-서울영등포-1704
Business Providing Employment Information Number: J1204020250004
#901, Eunhaeng-ro 3, Yeongdeungpo-gu, Seoul 07237
E-mail dacon@dacon.io |
Tel. 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved