Convolutional Neural Networks에 대해서 알아보겠습니다.
여기서 layer 는 기본적으로 공간적인 구조(이미지의 공간정보)를 유지합니다.
먼저, Fully connected layer 입니다.
어떤 32x32x3의 이미지가 존재할 때, 먼저 3072x1 형태의 벡터로 만들어줍니다. 그리고 weights인 W 벡터를 곱해주는데, 여기서 W의 크기는 10x3072 입니다. 그리고 마지막으로 이 layer의 output인 activation을 얻습니다.
activation은 input 과 W를 내적하여, 얻어낸 값입니다.