Training Neural Networks

activation functions, preprocessing, weight initialization, regularization, gradient checking처럼 기본적인 설정, 파라미터를 어떻게 업데이트하는지, 그리고 모델을 평가하는 것에 대해서 공부하면서, Neural network를 학습하는 것에 대해서 알아보겠습니다.

Activation Functions

먼저 Activation function에 대해서 알아보겠습니다.

neural networks 에서 어떤 input 이 들어왔을 때, weight와 내적을 하여 얻어낸 output을 activation function(non-linear)으로 보냅니다.

위와 같이 여러가지 activation function이 존재합니다. 여기 몇 가지 function들에 대해서 알아보겠습니다.

Sigmoid

먼저, Sigmoid 입니다.