SG를 이진 분류 문제로 바꾼 모델

Negative Sampling

주변 단어가 아닌 단어를 Label 0으로 Sample에 포함시키는 것

Negative Sampling의 개수는 하이퍼 파라미터에 해당한다.

• 학습 데이터가 적은 경우 5-20, 충분히 큰 경우 2-5가 적당하다.
• positive sample 하나당 k개 샘플링

중심 단어와 주변 단어가 각각 임베딩 벡터를 따로 가진다.

• SGNS에서 embedding을 두 개로 나누어 사용하는 이유

학습 과정

1. 중심 단어를 기준으로 주변 단어들과의 내적 연산 수행

2. 실수 내적값에 sigmoid을 취하여 예측값을 구한다.

3. 예측값과 레이블(0,1)의 오차를 구한다.

4. 역전파(backpropagation)를 통해 각 임베딩이 갱신되며 모델이 수렴한다.

5. 이 때, 최종적으로 생성된 워드 임베딩이 2개이므로 선택적으로 하나만 사용하거나 평균내어사용한다.