<aside> ▪️ 간단 요약

시퀀스 데이터를 처리하기 위한 신경망

다층 퍼셉트론 + 순환 엣지 + 가중치 공유

Sequence Data, Recurrent Edge, 가중치 공유, 잠재 AR 모델, BPTT, MLP, LSTM

• 기울기 소실 문제는 왜 발생할 수 있을까?
• BPTT의 수식적 이해 </aside>

배경

구조적 특성

다층 퍼셉트론 + 순환 엣지 + 가중치 공유

• MLP에 **순환 에지(Recurrent Edge)**를 추가하여 간단히 구현할 수 있다.

순환 엣지를 통해 은닉층 노드끼리 가중치를 공유한다.

즉, 구조상 RNN은 MLP와 모두 동일하며, 순환 에지의 존재 여부만 다르다.

구조는 살짝 달라졌지만, 가중치 집합에서 두드러지게 차이가 발생한다.

다층 퍼셉트론 $\{U, V\}$

순환 신경망 $\{U, V, \underline W\}$

가중치 집합

• $U$: 입력층 <—> 은닉층
• $V$: 은닉층 <—> 출력층
• $W$: 은닉층 <—> 은닉층

은닉층에서 일어나는 계산

$$ \mathbf{h}^i=\tau_1\left(\mathbf{W} \mathbf{h}^{i-1}+\mathbf{U} \mathbf{a}^i\right) $$

• $\tt Wh^{i-1}$ 항을 제외하면 MLP와 동일하다.

출력층에서 일어나는 계산

$$ \mathbf{o}^i=\tau_2\left(\mathbf{V h} \mathbf{h}^i\right) $$

학습 알고리즘

BPTT(Back-propagation through time)

LSTM(Long Short Term Memory)을 통해 RNN의 기억력을 보완한다.

기능적 특성

• 시퀀스(sequence) 데이터를 처리하기 위한 신경망
• 음성 인식, 자연어 처리, 시계열 데이터 분석 등에 사용된다.
• Memory $(h)$의 개념을 가지고 sequential input의 처리한다.
• Hidden state $(h)$를 통해 long-term semantics를 모델링한다.
• RNN cell의 디자인을 통해 다양한 특성을 표현할 수 있다.

RNN의 기억력 한계

• 은닉층 상태를 다음 순간으로 넘기는 기능을 통해 과거를 기억
• 하지만 장기 문맥 의존성(멀리 떨어진 요소가 밀접한 상호작용하는 현상)을 제대로 처리하지 못한다.
• 계속 들어오는 입력의 영향으로 기억력 감퇴
• 선별 기억 능력이 없다.