공부방

KL Divergence는 서로 다른 두 확률 분포간의 차이를 계산하기 위해 사용된다. 서로 다른 두 분포 P와 Q에 대해서 KL Divergence는 다음과 같은 식으로 계산된다. 그렇다면, 왜 이러한 식을 사용해서 두 분포간의 차이를 계산할 수 있다는 것일까? 먼저 우리가 차이를 구하고자 하는 두 분포를 정의해보자. True Coin의 분포가 P 분포이고 Coin2의 분포가 Q 분포이다. 우리가 어떤 코인으로 던졌는지 모르고 있는 상태로, 동전의 앞/뒷면이 나온 결과가 주어졌다고 가정하자. 이러한 결과가 주어졌을 때, 1) True Coin일 경우 우리가 얻은 결과가 나올 확률, 2) Coin2일 경우 우리가 얻은 결과가 나올 확률 을 조건부 확률을 이용해서 계산할 수 있다. (위 식에서 앞면이 나온..

조건부 확률이란? 표본 공간 S에서, 사건 A와 B가 있을 때, 사건 B가 일어났다는 가정하에 사건 A가 일어날 확률을 말한다. 이는 수식으로 쓰면 다음과 같이 쓸 수 있다. 일반적으로 A가 일어나는 확률을 수식으로 나타내면 다음과 같다. 이 수식에서는 A가 일어날 확률을 전체 표본공간이 S인 상태에서 계산한다. 하지만 조건부 확률에서는 표본공간을 B로 한정하여 계산하는 것이라고 이해하면 된다. 위 그림에서 P(A)는 전체 네모(S라는 표본공간)에서의 A(빨간색 + 분홍색)의 비율 정도로 말할 수 있다. 조건부 확률 P(A|B)는 표본공간이 B가 됐을 때의 A의 확률이라고 말할 수 있고, 그림에서 B(초록색 + 분홍색)에서의 A(분홍색)의 비율이다. 베이즈 정리는 위의 조건부 확률을 조금 응용한 것으로,..