ML & DL
2020. 12. 26.
[Deep learning] 6장 Deep Feedforward Network
Deep Learning, Ian Goodfellow(www.deeplearningbook.org/) 공부하고 정리한 글입니다. Feedforward network 전형적인 딥러닝 모델, 특정 함수 f*를 잘 표현하는 것이 목표, 모델 output이 다시 모델로 연결되는 feedback connection이 없음 Training : 네트워크 $f(x;\theta)$가 f*(x)에 가까워지게 함수의 모수($\theta $)를 찾는 과정 노드의 affine 결합은 특정 공간의 hyperplane을 만든다, 따라서 노드가 충분히 많으면 같은 공간에 여러 hyperplane이 생기고 이를 통해 복잡한 함수도 근사할 수 있다.(아래 그림) 이때, ReLU와 같은 비선형 함수를 사용해 더 정확하고 빠르게 근사하는 ..
