ML & DL
2021. 1. 18.
[Deep learning] 4장 수치 계산(Numerical Computation)
Deep Learning, Ian Goodfellow(www.deeplearningbook.org/) 공부하고 정리한 글입니다. 내용을 함께 고민해 준 KAIST 김현우, 최정만에게 감사합니다. 대부분의 머신러닝 알고리즘은 해석적 방법이 아닌 반복을 통해 추정하는 최적화 문제로 알고리즘을 푼다. 하지만 디지털 컴퓨터의 유한한 비트 메모리로 무한한 실수를 정확하게 표현할 수 없기에 생기는 문제들이 있다. 1. Overflow, Underflow 컴퓨터의 비트 표현으로는 실수를 정확히 표현할 수 없어, 반올림을 통한 근사표현을 한다. 이때, 0에 가까운 수가 반올림에 의해 정확히 0이 되는 것을 underflow, 매우 큰 수가 반올림되어 $\infty, -\infty$가 되는 것을 overflow라고 한다..
