[논문]ResNet

 

vgg에서 모티브를 따옴 3x3 layer 사용

깊이를 깊게 하고 싶은데 깊어질 수록, gradient vanishing과 exploding 문제가 생김 이를 해결하기 위해

identity 텀 x를 추가함 ;residual learning 더하기 연산이라 복잡도가 증가하지 않음

 

채널 개수 변화 시 

1. 제로 padding

2. projection short-cut

> 1번 사용 복잡도가 증가하지 않기 때문

 

34 layer 보다 깊은 net에 대해서는 어떻게 할까?

bottle neck architecture

1x1 conv net (FC효과)

채널을 조정하는 효과 주고, activation map간에 corr이 잘 반영됨

 

이렇게 ResNet + bottle neck architecture을 사용하면, layer를 엄청 깊게 쌓을 수 있고, 깊게 쌓아도 

vanishing gradient 문제를 억제하는 효과가 있다.

또한 vgg에 비해 parameter 수가 훨씬 적으므로, 연산량이 적어서 더 효과적이다.

 

 

DesNet

 

 

dense 블록

 

growth rate 

 

 

워드임배딩

 > 단어를 컴퓨터가 알아먹게 벡터화

 > 희소표현 > 분산표현으로

 

W2V(word to vector)

기존의 카운트 기반의 방법은 단어 간 유사도 측정이 어렵고 차원이 너무 높아 연산이 힘듬

 

 

 

 

희소표현 (원핫인코딩)

 

분산표현

 

w2v

> 비슷한 위치에 등장하는 단어들은 비슷한 의미를 가진다는 가정

> 윈도우 : 중심단어 기준 앞 뒤로 몇개의 단어를 볼건지