AutoRec: Autoencoders Meet Collaborative Filtering

AE를 CF에 적용하여 기본 CF 모델에 비해 Representation과 Complexity 측면에서 뛰어남을 보인 논문

Rating Vector를 입력과 출력으로 하여 Encoder & Decoder Reconstruction 과정을 수행

유저 또는 아이템 벡터를 저차원의 latent feature로 나타내 이를 사용해 평점 예측

Autoencoder의 representation learning을 유저와 아이템에 적용한 것

vs. MF

MF는 linear, low-order interaction을 통한 representation이 학습되지만,

AutoRec은 non-linear activation function을 사용하므로 더 복잡한 interaction 표현 가능

모델

아이템과 유저 중, 한 번에 하나에 대한 임베딩만을 진행한다.

• $r^{(i)} :$ 아이템 i의 Rating Vector
• $R_{ui}:$ 유저 $u$의 아이템 $i$에 대한 Rating
• $V:$ 인코더 가중치 행렬
• $W:$ 디코더 가중치 행렬

학습

기존의 rating과 reconstructed rating의 RMSE를 최소화하는 방향으로 학습한다.

관측된 데이터에 대해서만 역전파 및 파라미터 갱신을 진행한다.

$$ \begin{gathered}\min \theta \sum{\mathbf{r} \in \mathbf{S}}\|\mathbf{r}-h(\mathbf{r} ; \theta)\|_2^2 \\h(\mathbf{r} ; \theta)=f(\mathbf{W} \cdot g(\mathbf{V r}+\boldsymbol{\mu})+\mathbf{b})\end{gathered} $$

• $S :$ 점수 벡터 $r$의 집합
• $f,g :$ 활성함수(sigmoid, Identity Function)

결과

• 무비렌즈(ML)과 넷플릭스 데이터셋에서 RBM, MF 등의 모델보다 좋은 성능
• Hidden unit의 개수가 많아질 수록 RMSE가 감소함을 보임

이후 고급 AE 기법을 CF에 활용한 후속 연구들이 등장했다.

DAE ⇒ Collaborative Denoising Auto-Encoders for Top-N Recommender Systems,

VAE ⇒ Collaborative Variational Autoencoder for Recommender Systems, …

추가적으로 알아두면 좋은 점

• I-AutoRec이 U-AutoRec보다 더 잘 동작한다.

  Rating per item이, Rating per user보다 압도적으로 많기 때문이라고 저자는 설명한다.

• Encoder/Decoder별 활성화 함수를 어떻게 조합하느냐에 따라 성능차이가 크다.

• Hidden Layer의 뉴런의 수나, 레이어의 개수를 높이면 성능이 향상된다.