<aside> 💡 프로젝트를 위해 공부했던 GraphSAGE 에 대해 정리하고자 한다. 이번 포스팅은 'Inductive Representation Learning on Large Graphs' 논문의 내용을 바탕으로 참고 자료와 함께 정리한 내용이다.

</aside>

0. Preliminaries

• Inductive learning vs. Transductive learning

1. Introduction

• large graphs에서 low-dimensional embedding은 다양한 task의 input feature로 유용하게 사용
• high-dimensional nodes의 이웃정보를 dimensionality reduction통해 low-dimensional으로 representation하는 방법
• 현실의 문제에서는 unseen nodes, 완전히 새로운 (sub)grap의 embedding을 추론하는 inductive method가 필수적
• 하지만 대부분의 선행연구는 single fixed graph로부터 node embedding에 초점되어 있음
• 대부분 matrix-factorization-based objectives를 사용하여 각 nodes의 embedding을 directly optimize 방식
• unseen node가 추가되면 dimension이 변환되기 때문에 새로히 matrix-factorization 필요하게 됨

1.1 Reasons why Inductive learning is difficult

• unseen node를 일반화 하기 하기위해서는, 새로 관찰된 sub-graph를 이미 최적화된 algorithm에 ‘aligning’ 가 필요
• 또한, graph에서 nodes의 local role 뿐만 아니라 global role를 가지는 이웃 노드의 구조적 특징을 인식하도록 학습되어야 함

1.2 Proposed method

• unseen node를 일반화하는 embedding function을 학습하기 위해 node feature를 활용

• nodes embedding vector를 학습하는 기존과 달리, **nodes의 local neighborhood에서 feature를 집계하는 ‘aggregator function set’을 학습

• 각 aggregator function은 주어진 node에서 떨어진, 다른 hope / depth의 정보를 집계

• 이를 통해 각 nodes의 이웃의 topological structure 뿐만아니라, 이웃의 node feature distribution 학습

  (e.g structural features that are present in all graphs(node degree, node rank, etc.), text attributes, even graphs without node features)

                  [ 그림 2] Visual illustration of the GraphSAGE sample and aggregate approach