Statistic
2021. 2. 4.
[정보이론] KL-divergence의 비대칭성과 Cross Entropy
Entropy 엔트로피는 특정 확률분포가 갖는 불확실성, 무질서 정도를 정보량의 기댓값으로 수치화한 값이다. 엔트로피가 큰 분포는 분산이 큰 정규분포, 엔트로피가 작은 분포는 분산이 작아 특정 영역에 확률값들이 모여 있는 분포다. 아래의 녹색 strong prior가 엔트로피가 작은 분포, 파란색 weak prior가 엔트로피가 큰 분포이다. $X$ : event point $P(X=x)$ : event 확률 $-logP(X)$ : X의 정보량(self-information) $E_{X\sim P} [-logP(X)]$ : 확률분포 P(X)의 entropy(정보량 기댓값) KL-divergence KL-divergence는 확률분포간 정보량 차이로 확률분포 P(x)와 Q(x)의 차이를 측정한다. 이를 P..
