📄 논문 개요

제목: Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention

저자: Angelos Katharopoulos 외 (Idiap Research Institute, EPFL)

게재: ICML 2020 (International Conference on Machine Learning)

1. 서론 (Introduction)

1.1 핵심 문제

Transformer의 고질적인 문제:

• Self-attention의 계산 복잡도가 O(N²) (N은 시퀀스 길이)
• 긴 시퀀스를 처리하려면 메모리와 시간이 기하급수적으로 증가
• 예를 들어, 시퀀스 길이가 2배가 되면 계산량은 4배로 증가!

직관적 비유: 교실에 학생이 10명 있으면 모든 학생 쌍 간의 관계를 확인하는 건 45번이지만, 학생이 100명이 되면? 4,950번! 😱

1.2 논문의 핵심 아이디어

저자들은 이렇게 말합니다:

"우리는 self-attention을 kernel feature map의 선형 내적으로 표현하고, 행렬 곱셈의 결합법칙(associativity)을 이용해서 복잡도를 O(N²)에서 **O(N)**으로 줄였다!"

더 놀라운 발견:

• 이렇게 만든 Linear Transformer는 autoregressive 추론 시 RNN처럼 동작한다
• 실제로 매우 긴 시퀀스에서 4000배 빠르다!

2. 관련 연구 (Related Work)