Intro.

• 퍼셉트론으로 해결되지 않던 문제를 신경망을 이용해 해결하였다.
• 신경망 내부의 가중치는 오차 역전파 방법을 사용해 수정한다
• 오차 역전파는 경사 하강법의 확장 개념이다

1. 오차 역전파의 개념

가중치를 구하는 방법

• 경사 하강법을 이용하면 됨
  1. 임의의 가중치를 선언
  2. 결괏값을 이용해 오차를 구한 뒤
  3. 이 오차가 최소인 지점으로 계속해서 조금씩 이동시킨다
  4. 이 오차가 최소가 되는 점(미분했을 때 기울기가 0이 되는 점)이 알고자 하는 답
• 다층 퍼셉트론 역시 결괏값의 오차를 구해 이를 토대로 하나 앞선 가중치를 차례로 거슬러 올라가며 조정해간다.

오차 역전파(back propagation)

• 최적화의 계산 방향
  • 출력층에서 시작해 앞으로 진행
• 다층 퍼셉트론에서의 최적화 과정

back propagation 구동 방식

1. 임의의 초기 가중치(W)를 준 뒤 결과($y_{out}$)를 계산
2. 계산 결과와 우리가 원하는 값 사이의 오차를 구하다
3. 경사 하강법을 이용해 바로 앞 가중치를 오차가 작아지는 방향으로 업데이트
4. 위 과정을 더이상 오차가 줄어들지 않을 때까지 방복

   • 오차가 작아지는 방향으로 업데이트한다

     = 미분 값이 0에 가까워지는 방향으로 나아간다

     = 기울기가 0이 되는 방향으로 나아가야 한다.

     ⇒ 가중치에서 기울기를 뺐을 때 가중치의 변화가 전혀 없는 상태

     $$ W(t+1)=W_t-\frac{\partial 오차}{\partial W} $$

2. 코딩