1. 포화 비선형성(Saturating Non-linearity)의 개념 • 포화(Saturation)란 입력값 $x$가 무한히 커지거나 무한히 작아질 때, 함수의 출력값 $f(x)$가 무한히 뻗어나가지 않고 특정 한계값(상한선 또는 하한선)에 수렴하여 멈추는 현상을 의미 • 표준적인 뉴런의 포화 비선형성 함수로는 $f(x)=tanh(x)$ 와 $f(x)=(1+e^{-x})^{-1}$ 가 있음. 2. 딥러닝 훈련 시 발생하는 문제점 • 경사 하강법을 통해 신경망을 훈련할 때, 포화 비선형성 함수들은 입력값의 절댓값이 커지면 기울기가 0에 가깝게 평평해짐. • 이로 인해 오차를 역전파하여 가중치를 업데이트할 때 학습 속도가 매우 느려지는 기울기 소실을 유발함.