1. 기울기 소실 문제와 활성화 함수

오차 역전파

• 출력층으로부터 하나씩 앞으로 되돌아가며 각 층의 가중치를 수정하는 방법

기울기 소실(vanishing gradient)

• 층이 늘어나면서 역전파를 통해 전달되는 이 기울기의 값이 점점 작아져 맨 처음 층까지 전달되지 않는 문제 발생

• 이는 활성화 함수로 사용된 시그모이드 함수의 특성 때문

  • 시그모이드 함수를 미분하면 최대치가 0.3이다
  • 1보다 작으므로 계속 곱하다보면 0에 가까워진다

  ⇒ 여러 층을 거칠수록 기울기가 사라져 가중치를 수정하기가 어려워지는 것

  

다양한 활성화 함수

하이퍼볼릭 탄젠트(tanh) 함수

• 시그모이드 함수의 범위를 -1에서 1로 확장한 개념

• 미분한 값의 범위가 함께 확장되는 효과

  문제

  • 여전히 1보다 작은 값이 존재하므로 기울기 소실 문제는 사라지지 않는다

렐루(ReLU) 함수

• 제프리 힌튼 교수가 제안

• 시그모이드 함수의 대안

• 현재 가장 많이 사용되는 활성화 함수

• x가 0보다 작을 때는 모든 값을 0으로 처리하고, 0보다 큰 값은 x를 그대로 사용

• x가 0보다 크기만 하면 미분값이 1이된다

  ⇒ 여러 은닉층을 거치며 곱해지더라도 맨 처음 층까지 사라지지 않고 남아있을 수 있다

소프트플러스(softplus) 함수