본문 바로가기

nlp

Paper 2021. 6. 8. [논문] Dense passage retrieval for Open-Domain QA original paper: https://arxiv.org/pdf/2004.04906.pdf Abstract Open-domain question answering에서는 후보 context를 고르기 위한 passage retrieval 중요. 기존에는 TF-IDF와 같은 spare vector model 사용. 본 논문에서는 dual-encoder 모델을 활용한 dense passage retrieval 제시. Intro QA system - context retriever: 질문에 대한 답을 포함하는 passage subsets을 고름 - reader: context retriever에서 고른 후보들 평가 Retrieval - 기존에 사용하던 sparse vector model 보다 dense mod..
Paper 2021. 4. 28. [논문] Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks origin paper: https://arxiv.org/pdf/2005.11401.pdf reference:ai.facebook.com/blog/retrieval-augmented-generation-streamlining-the-creation-of-intelligent-natural-language-processing-models Overview 문맥 정보를 반영하는 고정된 임배딩 모델 pre-trained neural retriever(Bert)과 seq2seq transformer(Bart)를 결합하여, task specific task에서 더 좋은 성능을 보이는 모델 RAG를 제안 Model 모델은 크게 retriever과 generator로 나뉜다. retriever retriever은 우선..
Paper 2021. 3. 4. [논문] GPT-2 Overview GPT-2는 트랜스포머의 디코더만 사용하는 langauge model 이다. 인코더를 사용하는 BERT와 다르게 auto-regressive하다. 즉, 시작 token '' 로 token 'The' 를 추정하고 추정된 'The' 를 다시 인풋으로 다음 token을 추정한다. 각 디코더는 masked self-attention과 FC로 구성, 기존 트랜스포머에 있는 encoder-decoder self-attention은 인코더가 없기에 사용하지 않는다. Input embedding 인풋 token 임배딩은 byte pair encoding을 사용, GPT 모델 크기에 따라 임배딩 차원이 정해진다. Masked Self-Attention Masked self attention은 현재 que..

티스토리툴바