Source: Woosung Choi

<aside> 💡 나는 ____를 뒤집어 쓰고 펑펑 울었다.

</aside>

한국어를 자유자재로 사용하는 사람은 빈칸에 들어갈 말이 이불이라는 것을 쉽게 알 수 있다.

그런데 이 문장의 경우, 빈칸 유추 시 빈칸 앞보다는 빈칸 뒤에 나오는 단어들이 더 중요하다. ‘나는’ 뒤에 나올 수 있는 단어는 수만개인 반면, ‘를 뒤집어 쓰고 펑펑 울었다’ 앞에 나올 수 있는 단어는 흔치 않기때문이다. (조금 더 학술적으로 말하면, 이불이 아닌 어떠한 단어 w에 대한 확률 P(w|를 뒤집어 쓰고 펑펑 울었다)는 P(이불|를 뒤집어 쓰고 펑펑 울었다)보다 매우 작다.)

이 예제에서 볼 수 있듯, 텍스트 데이터는 정방향(시점을 기준으로 과거에서 미래 방향) 추론 못지 않게 역방향(시점을 기준으로 미래에서 과거 방향) 추론도 유의미한 결과를 낼 수 있다. 하지만 일반적인 RNN 구조는 오로지 정방향으로 데이터를 처리한다.

위 그림에서 볼 수 있듯, RNN은 과거 (t = 0, 1, …, (i-1) ) 시퀀스를 읽어 현재 (t=i) 데이터 에 대한 레이블을 예측하는 것은 가능한 구조이다. 그러나 역방향의 연결은 존재하지 않기 때문에 현시점보다 미래 시점인 데이터는 추론 시 활용할 수 없다.

이러한 단점을 해소하고자 나온 개념이 연결이 양방향으로 존재하는 RNN인 **Bidirectional RNN [1]**이다.

Bidirectional RNN은 위 그림처럼 생겼다. 보다시피 Hidden unit에는 두 종류 (녹색, 주황색)가 있다. 녹색 뉴런들은 정방향 (왼쪽에서 오른쪽으로, 또는 과거에서 미래 시점으로)으로 연결되어있으며, 주황색 뉴런들은 역방향(오른쪽에서 왼쪽으로, 또는 미래 시점에서 과거시점으로)으로 연결되어 있다. 이 둘을 concatinate하면 완전한 i번째 hiddden layer 값인 hs[i]가 완성된다.

LSTM