1. 출력층의 오차 업데이트
- 각 노드 내부에서는 입력 값을 이용해 가중합을 만드는 단계와 이 가중합을 활성화 함수를 적용해 출력하는 단계로 구분
- 이 두 단계를 각 내부에 표시하고 각 가중치(w)값과 은닉층의 출력 값($Y_h$)를 포함하여 표현
- 오차 역전파는 $Y_{out}$값에서 거꾸로 거슬러 올라가며 가중치 $W_{(2)}$와 가중치 $W_{(1)}$이 더는 업데이트되지 않을 때까지 반복하여 계산하는 것
$W_{(2)}$의 값 중 하나인 $w_{31}$을 업데이트하는 과정
$$
w_{31}(t+1)=w_{31}t-\frac{\partial오차Y_{out}}{\partial w_{31}}
$$
- t는 한 단계 앞, t+1은 현재 단계의 계산
- $w_{31}t$는 한 단계 앞에서 이미 계산된 값을 의미
- 실제로 구해야 하는 값은 $\frac{\partial오차Y_{out}}{\partial w_{31}}$
- $오차Y_{out}$를 구하고 이를 $w_{31}$에 대하여 편미분하라는 뜻
2. 오차 공식
-
$오차Y_{out}$안에는 두 개$(y_{o1}, y_{o2})$의 출력 값이 있다
- $오차Y_{out}=오차y_{o1}+오차y_{o2}$
- $오차y_{o1}, 오차y_{o2}$는 각각 앞서 배운 평균 제곱 오차를 이용해 구한다
- $y_{o1}, y_{o2}$의 실제 값을 $y_{t1}, y_{t2}$이라 하면
$$
오차y_{o1} = \frac{1}{2}(y_{t1}-y{o1})^2\\
오차y_{o2} = \frac{1}{2}(y_{t2}-y{o2})^2
$$
-
$y_{t1}, y_{t2}$에 해당하는 '실제 값'은 도출해야 하는 정답 값
해야할 일
- 계산을 통해 나오는
출력 값이 실제 세상을 통해 알아낸 실제의 값과 같아지도록 가중치를 조절해 주는 것
$$
오차Y_{out}=\frac{1}{2}(y_{t1}-y{o1})^2+\frac{1}{2}(y_{t2}-y_{o2})^2
$$
3. 체인 룰