Statistic
2020. 12. 10.
[TIL] Softmax에서 왜 e를 쓸까
Softmax 소프트 맥스 함수는 입력 벡터를 합이 1이 되는 확률 값으로 변환하는 함수다. 다항 분포의 posterior 추정으로 유도 가능하다. 이를 통해 자연스럽게 multi-class 문제에 적합하다는 것을 알 수 있다. 자연상수 e를 쓰는 이유는 두 가지 1. 미분이 용이 -> gradient를 발생시켜 역전파~ 2. 입력 벡터가 더 잘 구분되게(큰 값은 더 크게, 작은 값은 더 작게) 자연상수는 2.7 정도 값을 갖고, 이를 밑으로 하는 자연 지수 함수는 다음과 같다. 입력 값 x에 변화량에 비해 출력 값 y의 변화량이 더 크다, 즉 입력 벡터에서 차이가 k만큼 난다면 softmax 확률에서는 e^k만큼 차이가 난다. 따라서 입력 벡터 값을 더 잘 구분되는 확률 값으로 mapping 한다고 볼..
