[DL] Spectral Normalization

GAN 계열의 학습 instability를 개선하는 weight 단의 normalize technic 

Lipschitz constant 하나만 하이퍼파라미터로 튜닝, computational cost가 낮다.

 

GAN을 stable하게 하려는 노력

WGAN: weight cliping -> 학습 시 weight가 너무 커지지 않게 특정 구간으로 한정지어 사용

GAN-GP(gradient penalty): 인풋 데이터와 Generator 공간에서 데이터 샘플링을 통해 그 사이의 gradient를 구해 Lip constraint를 걸어준다.

두 방법 모두 GAN의 전체 학습 공간이 아닌 인풋 데이터와 Generator 공간의 support에서 penalize하므로 한계가 있다.

Matrix Norm: 네트워크 weight를 spectral norm으로 나눠서 penalize 효과를 준다