본문 바로가기

Paper

Paper 2021. 3. 4. [논문] GPT-2 Overview GPT-2는 트랜스포머의 디코더만 사용하는 langauge model 이다. 인코더를 사용하는 BERT와 다르게 auto-regressive하다. 즉, 시작 token '' 로 token 'The' 를 추정하고 추정된 'The' 를 다시 인풋으로 다음 token을 추정한다. 각 디코더는 masked self-attention과 FC로 구성, 기존 트랜스포머에 있는 encoder-decoder self-attention은 인코더가 없기에 사용하지 않는다. Input embedding 인풋 token 임배딩은 byte pair encoding을 사용, GPT 모델 크기에 따라 임배딩 차원이 정해진다. Masked Self-Attention Masked self attention은 현재 que..
Paper 2020. 12. 12. [논문] Session-based recommendations with RNN session-based recommendation 같은 유저라도 서로 다른 세션 활동을 가지므로, 이를 독립적으로 보고 유저가 아닌 세션 이벤트 기준으로 모델링. 유저 정보를 사용하지 않으므로 비교적 단순하다. 추천 시스템은 MF와 같은 latent matrix를 사용한 모델과 유사도 기반 모델이 있다. session-based recommendation은 후자를 사용한다. one-to-one RNN : t 시점 이벤트(세션), 다음에 어떤 이벤트(세션)가 올지 예측 *session data { "hit_number": 1, "elapsed_time": 0.0, "page_type": "PAGE", "page_path": "/main/1", "page_event_info": null }, { "hit_..
Paper 2020. 11. 5. [논문] Graph Convolution Matrix Completion(GNN) 추천시스템 #4 이름만 들어본 GNN이 무엇인지부터 보자 1. GNN GNN(graph neural network)는 아래와 같이 node, edge등으로 표현되는 graph 형태의 데이터를 모델링 하기 위한 네트워크이다. 기존에 머신러닝에서 다루는 정형, 비정형(이미지, 텍스트, 오디오) 데이터들은 모두 n차원 유클리드 공간에 벡터와 행렬로 표현된다. 하지만 위와 같은 그래프 데이터는 유클리드 공간에 존재하지 않고, 직접적인 방법으로 벡터화 할 수 도 없다. 따라서 이를 기존 머신러닝 알고리즘에 넣기 위해 추가적인 network를 만들어, 유클리드 공간의 벡터와 행렬로 표현하고 이 네트워크(연산)를 aggregation function이라고 부른다. 여러 종류의 GNN이 있으며, 이는 그래프 데이터를 ..
Paper 2020. 9. 7. [논문] Deep Face Recognition + Arcface FR(face recognition) System 얼굴 인식 시스템은 위와 같은 구조로 이뤄진다. 대부분의 사진이 얼굴만 있지 않기에 face detection을 통해 얼굴만 crop하고, face alignmnet로 정면을 보게 위치를 조절해준다. 이후 augumentaion 효과를 주는 Face processing 과정을 거쳐 모델 인풋으로 들어간다. Train 과정에서는 network를 통해 각 얼굴의 feature를 뽑고 taks에 맞는 loss 방향으로 학습한다. 얼굴 인식은 위 그림처럼 크게 Close-set과 open-set으로 나눠진다. close-set은 train set에 test set label이 포함되어 있는 경우로 특정 회사 직원 얼굴 인식을 생각하면 된다. 이는 딥러닝에서 cl..
Paper 2020. 6. 19. [논문] A Unified Neural Architecture for Instrumental Audio Tasks ABSTRACT MIR tasks - pitch tracking, source separation, super resolution, synthesis 위 tasks에 적용가능한 End-to-end supervisable architecture 제시. WaveNet, cGAN 사용. 악기 합성에 GAN을 처음 적용. Introduction MIR tasks - pitch tracking, source separation, super resolution, synthesis , 모두 다른 task로 취급받아 왔다. 인간은 노래를 들으며, 특정 악기를 구분하고 pitch tracking 한다. -> 통합 model idea pitch tracking : F0만 뽑아내기 synthesis : F0을 취하고 나머지..
Paper 2020. 5. 26. [추천시스템] Factorization Machine & FFM 추천 시스템에서 사용되는 Factorization Machine과 그 발전 모델인 Field Award Factorization Machine(FFM)에 대해 공부하고 정리한 글입니다. original paper : https://www.csie.ntu.edu.tw/~b97053/paper/Rendle2010FM.pdf 추천 시스템에서 주로 사용하는 데이터는 위와 같다. categorical type 변수가 많고 따라서 one-hot-encoding된 데이터 값이 많다. one-hot vector 특성상 데이터 차원이 크고 상당히 sparse 하다. Linear model FM에 대한 논의를 선형 회귀식에서 시작해보자. 위 데이터를 일반적인 선형 회귀문제라고 생각하고 모든 변수를 X 예측하고자 하는 값을..
Paper 2020. 5. 5. [논문] A Universal Music Translation Network(2018) Music style transfer 주제로 프로젝트 중 time domain에서 style transfer를 시도한 논문을 찾다가 읽게 되었습니다. Frequenct domain에서 CQT 기반 cycleGAN을 고려중인데 resolution 문제가 걱정되어 time domain에서 style transfer도 생각중입니다. paper : https://arxiv.org/pdf/1805.07848.pdf github : https://github.com/facebookresearch/music-translation Intro 이 아키텍처에서 하나의 universial한 인코더를 만들어 모든 인풋에 적용했다. > 학습 효율 + 학습시 들리지 않는 음악 domain으로 변환도 가능 single encode..
Paper 2020. 4. 1. [논문_Audio] META-LEARNING EXTRACTORS FOR MUSIC SOURCE SEPARATION(Samuel et al. 2020) 2020년 2월에 발표된 따끈따끈한 논문입니다. Music style transform 프로젝트 중 한 task인 audio source separation을 위해 공부한 논문 중 하나입니다. 논문 링크 : https://arxiv.org/pdf/2002.07016v1.pdf Introduction 세상의 많은 악기와 소리는 고유의 timbral qualities(음색)를 가지고 있다. 소프라노 가수와 트럼펫은 다른 카테고리로 분류되지만 비슷한 frequency를 가진다. 모델이 이러한 관계에 대해 인지한다면 각 악기의 특성을 반영한 seperation을 할 수 있을 것이다. 이 논문의 아이디어는 Meta-learning과 AutoML으로 부터 나왔다. 목표는 특정 악기의 뉘앙스를 반영하는 해당 악기에 ..

티스토리툴바