본문 바로가기

Entropy

Statistic 2021. 2. 4. [정보이론] KL-divergence의 비대칭성과 Cross Entropy Entropy 엔트로피는 특정 확률분포가 갖는 불확실성, 무질서 정도를 정보량의 기댓값으로 수치화한 값이다. 엔트로피가 큰 분포는 분산이 큰 정규분포, 엔트로피가 작은 분포는 분산이 작아 특정 영역에 확률값들이 모여 있는 분포다. 아래의 녹색 strong prior가 엔트로피가 작은 분포, 파란색 weak prior가 엔트로피가 큰 분포이다. $X$ : event point $P(X=x)$ : event 확률 $-logP(X)$ : X의 정보량(self-information) $E_{X\sim P} [-logP(X)]$ : 확률분포 P(X)의 entropy(정보량 기댓값) KL-divergence KL-divergence는 확률분포간 정보량 차이로 확률분포 P(x)와 Q(x)의 차이를 측정한다. 이를 P..
ML & DL 2021. 1. 14. [Deep learning] 3장 확률론과 정보 이론(probability, information theory) Deep Learning, Ian Goodfellow(www.deeplearningbook.org/) 공부하고 정리한 글입니다. 내용을 함께 고민해 준 KAIST 김현우, 최정만에게 감사합니다. Intro 확률론은 불확실한 명제를 서술할 수 있고, 불확실성이 존재하는 상황에서 원하는 것을 inference 할 수 있다. 정보 이론은 주어진 확률분포에 존재하는 불확실성의 양을 측정한다. 1. Why Probability? 머신러닝은 stochastic, nondeterministic 한 수치를 다룰 때가 있다. 이때 복잡하지만 확실한 규칙보다 간단하지만 불확실한 규칙(확률)을 사용하는게 실용적이다. 특정 시행을 여러번 반복했을 때 특정 사건이 나타날 빈도를 확률로 정의하는 관점이 빈도주의 확률(freque..

티스토리툴바