본문 바로가기

Statistic

Statistic 2021. 2. 4. [정보이론] KL-divergence의 비대칭성과 Cross Entropy Entropy 엔트로피는 특정 확률분포가 갖는 불확실성, 무질서 정도를 정보량의 기댓값으로 수치화한 값이다. 엔트로피가 큰 분포는 분산이 큰 정규분포, 엔트로피가 작은 분포는 분산이 작아 특정 영역에 확률값들이 모여 있는 분포다. 아래의 녹색 strong prior가 엔트로피가 작은 분포, 파란색 weak prior가 엔트로피가 큰 분포이다. $X$ : event point $P(X=x)$ : event 확률 $-logP(X)$ : X의 정보량(self-information) $E_{X\sim P} [-logP(X)]$ : 확률분포 P(X)의 entropy(정보량 기댓값) KL-divergence KL-divergence는 확률분포간 정보량 차이로 확률분포 P(x)와 Q(x)의 차이를 측정한다. 이를 P..
Statistic 2021. 1. 15. Hessian 행렬의 고윳값과 definite Definite 정의 $f(x) = X^TAX = a_{11}x_1^2 + 2a_{12}x_1x_2 + \cdot \cdot +a_{nn}x_n^2, \ X\in \mathbb{R}^n$ 위와 같이, n개 변수를 갖는 quadratic form 함수 f(x)가 있을 때, 극점 x = 0을 제외한 모든 x에 대해 $X^TAX > 0$이면 positive definite 하고 f(x)가 해당 구간에서 convex 하며 극소값을 갖는다. $X^TAX < 0$이면 negative definite하고 f(x)가 해당 구간에서 concave 하며 극대값을 갖는다. 정리 이때, 행렬 A의 모든 eigenvalue가 0보다 크면 f(x)가 positve definite, 작으면 negative definite이고, 이..
Statistic 2021. 1. 9. 독립과 직교(orthogonal) Independent와 orthogonal은 통계학을 공부하면서 계속해서 등장한다. 뭔가 비슷하면서도 다른 두 개념을 더 헷갈리게 하는 건 대상이 벡터인지 변수(variable)인지에 따라 의미가 달라지기 때문이다. 선형 대수에서 벡터를 대상으로 하는 독립은 선형 독립, 통계학에서 변수를 대상으로 하는 독립은 통계적 독립이다. 우선 선형대수에서 정의하는 벡터의 선형 독립과 직교에 대해 알아보자. Indepent & Orthogonal for Vector 두 벡터의 내적이 0일 때, 두 벡터는 직교한다고 정의한다. 이때 두 벡터가 이루는 각도가 90도 이며 코사인 값은 0이다. 한편 특정 벡터의 선형 결합으로 다른 벡터를 표현할 수 없을 때, 두 벡터는 선형 독립이라고 정의한다. 따라서 두 벡터가 직교하면..
Statistic 2020. 12. 10. [TIL] Softmax에서 왜 e를 쓸까 Softmax 소프트 맥스 함수는 입력 벡터를 합이 1이 되는 확률 값으로 변환하는 함수다. 다항 분포의 posterior 추정으로 유도 가능하다. 이를 통해 자연스럽게 multi-class 문제에 적합하다는 것을 알 수 있다. 자연상수 e를 쓰는 이유는 두 가지 1. 미분이 용이 -> gradient를 발생시켜 역전파~ 2. 입력 벡터가 더 잘 구분되게(큰 값은 더 크게, 작은 값은 더 작게) 자연상수는 2.7 정도 값을 갖고, 이를 밑으로 하는 자연 지수 함수는 다음과 같다. 입력 값 x에 변화량에 비해 출력 값 y의 변화량이 더 크다, 즉 입력 벡터에서 차이가 k만큼 난다면 softmax 확률에서는 e^k만큼 차이가 난다. 따라서 입력 벡터 값을 더 잘 구분되는 확률 값으로 mapping 한다고 볼..
Statistic 2019. 11. 8. [머신러닝] Logistic Regression(MLE와 Bayesian inference를 통한 확률론적 접근) 스탠퍼드 머신러닝 3주차인 Logistic Regression 강의를 듣는데, 여기서 사용되는 Cost function이 MLE 기반으로 유도된다는 얘기를 듣고 아예 MLE 기반의 estimator들과 cross-entropy까지 한꺼번에 공부해서 정리해야겠다는 생각이 들었다. 학교 수리통계학 시간에 배운 MLE 개념과 베이지안 접근(Baysian approach)이 머신러닝에서는 어떤식으로 확장되어 사용되는지 궁금했다. 우리가 그냥 가져다 쓰던 logistic 함수 cross-entropy 모두 MLE와 베이지안 관점에서 통계적으로 유도된 함수들이었다. 수리적으로 엄밀하고, 또 왜 MLE가 머신러닝과 딥러닝에서 좋은 Estimator로 쓰이는지 깊게 생각해보게 되었다. 이 글은 PC 환경에 최적화되어 ..

티스토리툴바