GPT Paper 2021. 4. 8. [논문] BERT4Rec: Sequential Recommendation with BidirectionalEncoder Representations from Transformer Abstract 이때까지의 딥러닝을 활용한 추천 시스템은 RNN 계열을 활용해 unidirectional 하게 유저 상호작용을 히든 벡터로 인코딩했다. unidirectional 모델링은 다음과 같은 문제점이 있다. 표현력 한계 순서가 무의미 한 경우도 순서를 세우는 문제 이 논문에서는 이러한 문제를 해결하기 위해 bidirectional self-attention을 활용한 Bert4Rec을 제안한다. Bert4Rec 1. problem statement 유저 벡터 아이템 벡터 interaction sequence: 특정 유저 u가 t 시점에 상호작용하는 아이템 시퀀스 nu 시점 이전까지의 sequence를 통해 nu+1 시점의 유저가 어떤 아이템과 상호작용할지 예측하는 문제. 이는 l.. Paper 2021. 3. 4. [논문] GPT-2 Overview GPT-2는 트랜스포머의 디코더만 사용하는 langauge model 이다. 인코더를 사용하는 BERT와 다르게 auto-regressive하다. 즉, 시작 token '' 로 token 'The' 를 추정하고 추정된 'The' 를 다시 인풋으로 다음 token을 추정한다. 각 디코더는 masked self-attention과 FC로 구성, 기존 트랜스포머에 있는 encoder-decoder self-attention은 인코더가 없기에 사용하지 않는다. Input embedding 인풋 token 임배딩은 byte pair encoding을 사용, GPT 모델 크기에 따라 임배딩 차원이 정해진다. Masked Self-Attention Masked self attention은 현재 que.. 이전 1 다음
