Paper
2021. 10. 21.
[논문] Improved Transformer for High-Resolution GANs(Zhao et al.)
original paper: https://arxiv.org/pdf/2106.07631.pdf Abstract transformer는 long range dependency를 잘 모델링한다. 하지만, 연산 복잡도 때문에 고해상도 이미지 생성에 적용하기 어렵다. 다음 두 개의 핵심 알고리즘을 바탕으로한 계층적 트랜스포머 구조로 이를 해결한다. 1. low-resolution stages: multi-axis blocked self-attention: local, global attention을 효율적으로 섞는다 2. high-resolution stages: MLP + additional self modulation component 트랜스포머 구조로 이미지 생성을 하는 모델 제안, 이미지 크기에 line..