본문 바로가기

Paper

Paper 2021. 10. 21. [논문] Improved Transformer for High-Resolution GANs(Zhao et al.) original paper: https://arxiv.org/pdf/2106.07631.pdf Abstract transformer는 long range dependency를 잘 모델링한다. 하지만, 연산 복잡도 때문에 고해상도 이미지 생성에 적용하기 어렵다. 다음 두 개의 핵심 알고리즘을 바탕으로한 계층적 트랜스포머 구조로 이를 해결한다. 1. low-resolution stages: multi-axis blocked self-attention: local, global attention을 효율적으로 섞는다 2. high-resolution stages: MLP + additional self modulation component 트랜스포머 구조로 이미지 생성을 하는 모델 제안, 이미지 크기에 line..
Paper 2021. 9. 3. [논문] AUDIO TRANSFORMERS:TRANSFORMER ARCHITECTURES FOR LARGE SCALE AUDIO UNDERSTANDING original paper: https://arxiv.org/pdf/2105.00335.pdf Abstract Transformer만 써서 raw audio signal을 모델링 CNN pooling, wavelet decomposition에서 영감을 받은 multi-scale decompostion 임배딩 방법으로 성능을 향상 시킴 이 모델을 통해 non-linear & non constant bandwidth filter-bank를 학습할 수 있음 Data 200개의 클래스로 라벨이 붙어 있는 FSD50K 데이터 셋 사용, 51197개 오디오 클립을 1초 단위로 파싱하여 학습에 활용 Methodology Adapting Transformer Architecture for raw waveforms sa..
Paper 2021. 6. 8. [논문] Dense passage retrieval for Open-Domain QA original paper: https://arxiv.org/pdf/2004.04906.pdf Abstract Open-domain question answering에서는 후보 context를 고르기 위한 passage retrieval 중요. 기존에는 TF-IDF와 같은 spare vector model 사용. 본 논문에서는 dual-encoder 모델을 활용한 dense passage retrieval 제시. Intro QA system - context retriever: 질문에 대한 답을 포함하는 passage subsets을 고름 - reader: context retriever에서 고른 후보들 평가 Retrieval - 기존에 사용하던 sparse vector model 보다 dense mod..
Paper 2021. 5. 27. [논문] EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks original paper: https://arxiv.org/pdf/1905.11946.pdf 발표 PPT https://konkukackry.sharepoint.com/:p:/g/personal/chdnjf103_konkuk_ac_kr/Efhj8tmvHMNNskT_saA6dIkBRM3dNKm9cFNk8JMPfKhZ-A?e=aOJLpa Abstract CNN 모델의 크기를 키우면 성능이 좋아지지만, 리소스와 trade-off 가 있다. compoud coeffcient를 통해 모델 최적의 depth, width, resoultion을 찾는 EfficientNet을 제안한다. 이를 통해 적은 파라미터(리소스)로 뛰어난 성능을 달성했다. Intro CNN 모델 크기를 키우는 방법은 크게 depth, widt..
Paper 2021. 4. 29. [논문-WIP] Lambda Network(ICLR, 2021) Abstract self-attention을 대신할 sequence data의 input과 contexts 사이의 관계를 모델링하는 lambda layer를 제시한다. lambda layer contexts을 선형함수로 변환해서 각 인풋에 적용한다. linear attention 처럼 cost가 높지 않음에도 불구하고 linear attention이 하지 못하는 contexts, 위치 기반 상호작용을 모델링하여 큰 구조화된 입력에 적용할 수 있다. CV task 에서 기존 CNN, attention 보다 성능이 좋았다. Intro long dependent sequence data 처리는 항상 머신러닝의 문제였다. self attetion은 이러한 데이터 구조를 모델링하는데 효과적이지만 cost가 높다...
Paper 2021. 4. 28. [논문] Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks origin paper: https://arxiv.org/pdf/2005.11401.pdf reference:ai.facebook.com/blog/retrieval-augmented-generation-streamlining-the-creation-of-intelligent-natural-language-processing-models Overview 문맥 정보를 반영하는 고정된 임배딩 모델 pre-trained neural retriever(Bert)과 seq2seq transformer(Bart)를 결합하여, task specific task에서 더 좋은 성능을 보이는 모델 RAG를 제안 Model 모델은 크게 retriever과 generator로 나뉜다. retriever retriever은 우선..
Paper 2021. 4. 15. [논문-WIP] DeepFM: A Factorization-Machine based Neural Network for CTR Prediction Introduction CTR은 추천 시스템에서 중요한 지표고, 추천시스템 모델은 CTR을 최대화하는 것을 목표로 한다. CTR의 signal이 되는 feature interaction을 효과적으로 모델링하는게 핵심이고 대부분의 feature interaction은 숨겨져 있기에 머신러닝으로 detection 해야 한다. *논문에서 얘기하는 order는 interaction하는 feature 수를 의미한다. FTRL 과 같은 GLM 은 선형 모델이라 feature interaction을 반영하지 못하는 한계가 있다. Factorization Machine(이후 FM)은 feature의 latent 벡터간의 내적으로 pairwise feature interaction을 표현했고 괜찮을 결과를 냈다(cost..
Paper 2021. 4. 8. [논문] BERT4Rec: Sequential Recommendation with BidirectionalEncoder Representations from Transformer Abstract 이때까지의 딥러닝을 활용한 추천 시스템은 RNN 계열을 활용해 unidirectional 하게 유저 상호작용을 히든 벡터로 인코딩했다. unidirectional 모델링은 다음과 같은 문제점이 있다. 표현력 한계 순서가 무의미 한 경우도 순서를 세우는 문제 이 논문에서는 이러한 문제를 해결하기 위해 bidirectional self-attention을 활용한 Bert4Rec을 제안한다. Bert4Rec 1. problem statement 유저 벡터 아이템 벡터 interaction sequence: 특정 유저 u가 t 시점에 상호작용하는 아이템 시퀀스 $n_u$ 시점 이전까지의 sequence를 통해 $n_{u + 1}$ 시점의 유저가 어떤 아이템과 상호작용할지 예측하는 문제. 이는 l..

티스토리툴바