두 확률 분포 사이의 거리를 계산한다.

거리를 찾기 위해 Kullback-Leibler (KL) Divergence(Relative Entropy) 공식을 사용한다.

다음과 같이 정의된다.

$$ {\tt JSD(X,Y) = {1\over 2}(KL(X||Z) + KL(Y||Z))}\\ \tt where\ \ \ Z = (X+Y)/2

$$

이벤트 A의 엔트로피가 낮다는 것은 이 이벤트가 발생할 것이라는 것을 알고 있다는 것을 의미한다.

KL 발산 자체는 대칭적이지 않기 때문에 거리 측정법이 아니다.

$KL(X|Y) \ne KL(Y|X).$

쿨백 라이블러 다이버전스 공식을 활용한다.

거리를 측정할 때 많이 쓴다.

확률분포