공부방

KL Divergence는 서로 다른 두 확률 분포간의 차이를 계산하기 위해 사용된다. 서로 다른 두 분포 P와 Q에 대해서 KL Divergence는 다음과 같은 식으로 계산된다. 그렇다면, 왜 이러한 식을 사용해서 두 분포간의 차이를 계산할 수 있다는 것일까? 먼저 우리가 차이를 구하고자 하는 두 분포를 정의해보자. True Coin의 분포가 P 분포이고 Coin2의 분포가 Q 분포이다. 우리가 어떤 코인으로 던졌는지 모르고 있는 상태로, 동전의 앞/뒷면이 나온 결과가 주어졌다고 가정하자. 이러한 결과가 주어졌을 때, 1) True Coin일 경우 우리가 얻은 결과가 나올 확률, 2) Coin2일 경우 우리가 얻은 결과가 나올 확률 을 조건부 확률을 이용해서 계산할 수 있다. (위 식에서 앞면이 나온..