선형층을 아무리 깊게 쌓아도 중간에 비선형성이 없으면 전체가 하나의 선형층으로 합쳐집니다. 활성화 함수가 그 합쳐짐을 끊어 층마다 다른 꺾임을 만듭니다.

자세한 내용과 근거는 DAKER 원문에서 확인하실 수 있습니다.

핵심 요약

• 비선형성이 없으면 깊은 층도 하나의 선형층이 됩니다.

• ReLU·시그모이드가 어디에 꽂히는지 빌더용으로 정리했습니다.

• 원문에서 레이어를 쌓을 때 포인트를 확인하실 수 있습니다.

원문 보기: https://daker.ai/community/non-linearity-enables-deep-expression