Recurrent Nenural Network

RNN

1. RNN알고리즘은 반복적이고 순차적인 데이터 학습에 특화된 인공신경망

예

나는 | 오늘도 | 스벅아아를 | 쏩니다

주어 | 수식어 | 목적어 | 동사

이러한 시간 흐름의정보를 미리 기억하여 모델링 하는 것을 RNN이라고 한다

sigmoid function 이진분류

이진분류에서 주로 사용되며, 보통 출력층에서 사용

은닉층에서 사용시 기울기 소실 문제 발생(학습 감소)

softmax 다중 분류

소프트맥스는 세 개 이상의 분류하는 다중클래스에서 사용하는 활성화 함수

분류될 클래스가 n개라면 n차원의 벡터를 입력받아, 각 클래스에 속할 확률을 추정한다.