이는 활성화 함수로 사용된 시그모이드 함수의 특성 때문
⇒ 여러 층을 거칠수록 기울기가 사라져 가중치를 수정하기가 어려워지는 것
시그모이드 함수의 범위를 -1에서 1로 확장한 개념
미분한 값의 범위가 함께 확장되는 효과
제프리 힌튼 교수가 제안
시그모이드 함수의 대안
현재 가장 많이 사용되는 활성화 함수
x가 0보다 작을 때는 모든 값을 0으로 처리하고, 0보다 큰 값은 x를 그대로 사용
x가 0보다 크기만 하면 미분값이 1이된다
⇒ 여러 은닉층을 거치며 곱해지더라도 맨 처음 층까지 사라지지 않고 남아있을 수 있다