GCN보다 가벼운 모델

LightGCN: Simplifying and Powering Graph Convolution Network for Recommendation

GCN의 가장 핵심적인 부분만 사용하여, 더 정확하고 가벼운 추천 모델을 제시한 논문

• Light Graph Convolution

  학습 파라미터와 연산량이 감소

  임베딩 노드에 파라미터를 곱하지 않는다.

  이웃 노드의 임베딩을 가중합 하는 것이 convolution의 전부

• Layer Combination

  레이어가 깊어질수록 강도가 약해질 것이라는 아이디어를 적용해 모델을 단순화했다.

모델 구조

• 기존 NGCF 모델 구조

• LightGCN 모델 구조

  

LightGCN Propagation Rule

기존 NGCF 임베딩 벡터

유저 임베딩

$$ \mathbf{e}_u^{(k+1)}=\sigma\left(\mathbf{W}_1 \mathbf{e}u^{(k)}+\sum{i \in \mathcal{N}_u} \frac{1}{\sqrt{\left|\mathcal{N}_u\right|\left|\mathcal{N}_i\right|}}\left(\mathbf{W}_1 \mathbf{e}_i^{(k)}+\mathbf{W}_2\left(\mathbf{e}_i^{(k)} \odot \mathbf{e}_u^{(k)}\right)\right)\right) $$

아이템 임베딩

$$

\mathbf{e}_i^{(k+1)}=\sigma\left(\mathbf{W}_1 \mathbf{e}i^{(k)}+\sum{u \in \mathcal{N}_i} \frac{1}{\sqrt{\left|\mathcal{N}_u\right|\left|\mathcal{N}_i\right|}}\left(\mathbf{W}_1 \mathbf{e}_u^{(k)}+\mathbf{W}_2\left(\mathbf{e}_u^{(k)} \odot \mathbf{e}_i^{(k)}\right)\right)\right) $$

LightGCN 임베딩 벡터

1. feature transformation 제거

2. nonlinear activation 제거

3. 연결된 노드만 사용

   self-connection이 없다.

4. 가중합으로 GCN 적용

5. 학습 파라미터는 0번째 임베딩 레이어에서만 존재한다.

$$ \mathbf{e}u^{(k+1)}=\sum{i \in \mathcal{N}_u} \frac{1}{\sqrt{\left|\mathcal{N}_u\right|} \sqrt{\left|\mathcal{N}_i\right|}} \mathbf{e}_i^{(k)} $$

$$ \mathbf{e}i^{(k+1)}=\sum{u \in \mathcal{N}_i} \frac{1}{\sqrt{\left|\mathcal{N}_i\right|} \sqrt{\left|\mathcal{N}_u\right|}} \mathbf{e}_u^{(k)} $$

최종 예측 Layer

최종 예측을 위해 각 레이어의 임베딩을 결합하는 방법도 NGCF와 다르다.

NGCF 최종 임베딩 벡터

$$ \mathbf{e}_u^=\mathbf{e}_u^{(0)}\|\cdots\| \mathbf{e}_u^{(L)}, \quad \mathbf{e}_i^=\mathbf{e}_i^{(0)}\|\cdots\| \mathbf{e}_i^{(L)} $$

LightGCN 최종 임베딩 벡터

$$ \mathbf{e}u=\sum{k=0}^K \alpha_k \mathbf{e}_u^{(k)} ; \quad \mathbf{e}i=\sum{k=0}^K \alpha_k \mathbf{e}_i^{(k)} $$

• $a_k:$ $k$차 임베딩 벡터의 가중치

• $k$-층으로 된 레이어의 임베딩을 Concatenate하지 않는다.

  Concatenate를 하면 차원이 옆으로 커진다.

• 각각 $a_k$배 하여 가중합을 계산한다.

  이를 통해 정보를 조금 더 저차원으로 나타낸다.

  논문에서는 $(K+1)^{-1}$ 사용

  하이퍼 파라미터, 학습 파라미터 둘 다로 사용 가능하다.

학습을 통한 손실 함수와 추천 성능 모두 NGCF보다 뛰어나다.

이는 모델의 일반화 능력(Generalization Power)이 더 크다는 의미가 된다.

GNN계열 추천모델은 현업에서 활발하게 사용된다.