<aside> 💡 프로젝트를 위해 공부했던 SDNE 에 대해 정리하고자 한다. 이번 포스팅은 'Structural Deep Network Embedding' 논문의 내용을 바탕으로 참고 자료와 함께 정리한 내용이다.

</aside>

0. Preliminaries

• Auto Encoder

1. Introduction

• 네트워크 임베딩은 노드의 저차원 표현을 학습하는 방법이며, 그래프 구조를 포착하고 보존하는 것을 목표
• 하지만, 학습하기 위해서는 high non-linearity, structure-preserving, sparsity 문제가 존재
• 이러한 문제점을 해결하기 위해 본 논문에서는 semi-supervised deep model인 SDNE(Structural Deep Network Embedding)를 제안

1.1 Reasons why learning is difficult

• High non-linearity
• Structure-preserving and sparsity

                        [ 그림 2 ] Structural Deep Network Embedding architecture

2. Structural Deep Network Embedding

본 논문 first-order, second-order proximity 를 동시에 적용한 semi-supervised model SDNE 제안

DEFFINITION 1. Second-order proximity

• $S$(adjacency matrix)를 Input으로 AutoEncoder 통과시켜 reconstruction error를 최소화 하도록 학습
• 하지만, 실제 네 트크에서느는 edges가 존재하지 않는 nodes가 많음 (sparsity problem)으로 $S$ 를 바로 auto-encoder Input으로 사용하는것은 적합하지 않음
• 따라서, zero elements(edges가 존재하지 않는 nodes) 보다 non-zero elements reconstruction error에 더 페널티 부여
• $penalty$( $b_i$ ) = $\{b_{i,j}\}^n_{j=1}$, 만약 $s_{i,j}$ = 0 경우 $b_{i,j}$ = 1, 아닐경우 $b_{i,j}$ = $\beta$ > 1
• reconstruction error와 penalty를 hadamard product ($\odot$) (원소간 곱셈)