paper : https://arxiv.org/pdf/1808.09781.pdf

김용직 : abstract ~ methodology.A

이경찬 : methodology.B ~

Q. SASRec 추천 모델에 대해 알려줘

ChatGPT : SASRec은 Session-based Collaborative Filtering에서 사용되는 추천 모델입니다. 사용자의 세션(session) 정보를 바탕으로 아이템(item)의 추천을 생성합니다. SASRec은 Self-Attentive Sequential Recommendation의 약자로, 기존의 RNN, LSTM 기반의 시퀀스 모델에서 발생하는 기울기 소실(Vanishing Gradient)과 같은 문제점을 해결하기 위해 셀프 어텐션(self-attention) 메커니즘을 도입한 모델입니다. SASRec은 인기도나 트랜드를 반영하지 않는 기본적인 아이템 추천 방법과 달리 세션 내에서 시간적 순서를 고려하여 추천을 제공할 수 있는 장점이 있습니다. 이를 위해 각 아이템의 임베딩 벡터를 생성하는 과정에서 셀프 어텐션을 사용하여 세션 내에서 시간적으로 가까운 아이템 간의 상호작용을 반영하고, 최종적으로 세션의 다음 아이템을 예측하는데 사용됩니다. SASRec은 다양한 Session-based Collaborative Filtering 모델 중에서도 높은 예측 성능을 보이며, 최근에는 다양한 추천 시스템에서 사용되고 있습니다.

Abstract

• Sequential (순차적) dynamic은 사용자의 최근 액션을 파악하는 방식으로 현대적 추천 시스템에 활용되고 있음.
• 주로 두 모델이 이러한 방식을 적극적으로 활용 중: Marov Chain(MC)기반, RNN 기반.
• MC 기반 모델은 사용자의 최근 몇 행동만을 활용하는 반면, RNN 기반은 더 오랜 기간의 데이터를 활용함.
• MC는 복잡한 모델 사용이 어려운 sparse dataset에서 상대적으로 더 성능이 좋고, RNN은 복잡한 모델 사용이 가능한 dense dataset에서 더 성능이 좋은 편.
• Attention 메커니즘을 활용하면 두 모델의 장점을 고루 누릴 수 있음: MC처럼 적은 계산을 하면서 RNN처럼 오랜 기간을 추적할 수 있음.
• Attention을 활용한 SASRec은 SOTA sequential models (MC/CNN/RNN based)와 비교했을때 sparse/dense dataset 모두에서 더 높은 성능을 보임.
• 심지어 CNN/RNN based model과 비교했을 때에는 계산의 Order of magnitude도 더 낮았음.
• Attention weight의 시각화는 데이터셋 density에 모델이 적응하는 방식을 보여줌.

I. INTRODUCTION

Sequential Recommender systems?

추천 시스템이 꼭 Sequential한 dynamic을 반영할 필요는 없음. 예를 들어, (아래에서 볼) Collaborative filtering (Ex. Matrix factorization)

Markov Chains (MCs): 바로 이전의 한 action 혹은 적은 몇 (few) action을 기반으로, item transition recsys에 성공적으로 적용된 바 있음: Steffen Rendle et al., “Factorizing Personalized Markov Chains for Next-Basket Recommendation”, WWW 2010