1. 기울기 소실 문제와 활성화 함수

오차 역전파

기울기 소실(vanishing gradient)

https://s3-us-west-2.amazonaws.com/secure.notion-static.com/ec6c4d16-e269-4ccc-86df-f2b4f5f50ada/Untitled.png

다양한 활성화 함수

하이퍼볼릭 탄젠트(tanh) 함수

렐루(ReLU) 함수

소프트플러스(softplus) 함수