Attention에서 Query, Key, Value가 동일한 경우

한 문장에서 각 단어가 다른 단어와 어떤 관계를 갖고 있는지 수치화하는 행위

The animal didn’t cross the street because it was to tired.

위와 같은 문장에서, 우리는 it이 The animal이라는 것을 안다.

• 기계도 해당 문장을 보고 it이 The animal이라는 것을 이해해야 정확하게 번역할 수 있다.

모든 시점의 은닉 상태(Query)에 대해, 모든 시점의 은닉 상태(Key)와의 유사도(Value)를 구한다.

• Self Attention에서는 이를 위해 하나의 입력(단어)마다 $\tt Q(query)$, $\tt K(key)$, $\tt V(value)$라는 세 가지 벡터(NN)를 생성한다.

절차

• ex — 단어 2개가 입력된 경우
• 위의 과정은 행렬로 아주 간단하게 나타낼 수 있다.

정리하면 수식은 다음과 같다.

$$ \tt Attention(Q,K,V) = \blue{softmax(\frac{QK^T}{\sqrt{d_k}})}V $$

• 파란색 부분이 $\tt similarity(Q,K)$가 된다.
• 해당 수식은 Scale Dot-product Attention에 해당한다.

이 때, Value Vector의 차원은 Query Vector나 Key Vector와 달라도 된다.