서두르세요! "데이스쿨 40% 할인" 12월 2일까지!
분석시각화 대회 코드 공유 게시물은
내용 확인 후
좋아요(투표) 가능합니다.
Gradient Vanishing과 Saturation 현상에 대해 질문이 있습니다.
Vanishing이란 Back Propagation의 과정에서 편미분의 값이 작아서 가중치의 변동 사항이 거의 없는 현상이고,
Saturation이란 Back Propagation의 과정에서 편미분의 값이 0이 되어 가중치의 업데이트가 없는 것이라고 알고 있습니다.
둘 다 Activation에 의해 일어나는 현상이고요.
여기서 질문은 Vanishing과 Saturation이 변동사항 조금이라도 있거나 아님 아예 없음에 대해 구분지어 다른 문제를 일컫는 말인가요, 아님 통상적으로 둘을 비슷한 문제라고 다루나요?
데이콘(주) | 대표 김국진 | 699-81-01021
통신판매업 신고번호: 제 2021-서울영등포-1704호
서울특별시 영등포구 은행로 3 익스콘벤처타워 901호
이메일 dacon@dacon.io | 전화번호: 070-4102-0545
Copyright ⓒ DACON Inc. All rights reserved