공부방

KL Divergence는 서로 다른 두 확률 분포간의 차이를 계산하기 위해 사용된다. 서로 다른 두 분포 P와 Q에 대해서 KL Divergence는 다음과 같은 식으로 계산된다. 그렇다면, 왜 이러한 식을 사용해서 두 분포간의 차이를 계산할 수 있다는 것일까? 먼저 우리가 차이를 구하고자 하는 두 분포를 정의해보자. True Coin의 분포가 P 분포이고 Coin2의 분포가 Q 분포이다. 우리가 어떤 코인으로 던졌는지 모르고 있는 상태로, 동전의 앞/뒷면이 나온 결과가 주어졌다고 가정하자. 이러한 결과가 주어졌을 때, 1) True Coin일 경우 우리가 얻은 결과가 나올 확률, 2) Coin2일 경우 우리가 얻은 결과가 나올 확률 을 조건부 확률을 이용해서 계산할 수 있다. (위 식에서 앞면이 나온..

이산 확률 분포란? 확률 변수가 가질 수 있는 값이 연속적이지 않고 구분 되는 경우 예를 들어 주사위를 한번 던져 나오는 수를 확률변수 X라고 하면, X는 1, ,2, 3, 4, 5, 6 중 하나인 수이다. 즉, X는 이산 확률 분포인 확률 변수라고 할 수 있다. 이와 달리 임의로 뽑은 학생의 키를 확률변수 Y라고 하면 Y는 연속적인 값을 가지므로 Y는 연속 확률 분포인 확률 변수이다. (엄밀히 말하자면 확률변수가 나올 수 있는 값의 수가 가산적인 경우(countable) 이산확률분포라고한다.) 확률 질량 함수(Probability Mass Function, PMF) 이산 확률 분포에서 확률 변수의 어떤 값이 등장할 확률을 나타내는 함수이다. 다시 한번 주사위를 예로 들자면, 주사위를 한번 던저 나오는 ..

조건부 확률이란? 표본 공간 S에서, 사건 A와 B가 있을 때, 사건 B가 일어났다는 가정하에 사건 A가 일어날 확률을 말한다. 이는 수식으로 쓰면 다음과 같이 쓸 수 있다. 일반적으로 A가 일어나는 확률을 수식으로 나타내면 다음과 같다. 이 수식에서는 A가 일어날 확률을 전체 표본공간이 S인 상태에서 계산한다. 하지만 조건부 확률에서는 표본공간을 B로 한정하여 계산하는 것이라고 이해하면 된다. 위 그림에서 P(A)는 전체 네모(S라는 표본공간)에서의 A(빨간색 + 분홍색)의 비율 정도로 말할 수 있다. 조건부 확률 P(A|B)는 표본공간이 B가 됐을 때의 A의 확률이라고 말할 수 있고, 그림에서 B(초록색 + 분홍색)에서의 A(분홍색)의 비율이다. 베이즈 정리는 위의 조건부 확률을 조금 응용한 것으로,..