본문 바로가기

language model

ML & DL 2021. 2. 10. [NLP] ELMo, Contextual Word Representation word embedding 기존 w2v, Glove와 같은 단어 수준 임배딩은 단어를 하나의 vector representation으로 나타내므로 한계가 있다. LSTM 등 language model은 각 hidden에서 context-specific word representation을 갖는다. 이러한 LM의 context-specific word representation 자체를 임배딩 벡터로 이용해볼 수 있지 않을까? Language Model 을 활용한 단어 임배딩을 알아보자. Language model word embedding 앞서 언급했듯이 LSTM 등 language model은 문맥 정보를 반영한 context-specific word representation를 갖는다. 이를 단어의 임..
ML & DL 2021. 2. 10. [NLP] Language Model, Seq2Seq, Attention Stanford Univ. cs224n(2019) 강의를 듣고 정리한 내용입니다. Language Model(LM) 현재까지 주어진 문장의 다음 단어를 예측하는 모델, eg) 인터넷 검색 자동완성. 수식으로 보면 다음과 같다. $P(x^{(t+1)} | x^{(t)}, . . , x^{(1)})$ 이 조건부 확률을 marginal들의 곱으로 표현해 joint로 나타내면 아래와 같이 전체 sequence의 확률을 표현할 수 있다. $P(x^{(1)}, .. , x^{(T)}) = \prod_{t=1}^{T}P(x^{(t)}|x^{(t-1)}, .. ,x^{(1)})$ 즉, 어떤 sequence의 확률을 LM의 곱으로 표현할 수 있다. 즉 LM은 특정 sequence에 확률을 할당하므로, 이를 NLP에 적용..
Paper 2020. 3. 18. [논문] Lexicon-Free Conversational Speech Recognition with Neural Networks 스탠퍼드에서 2015년에 발표한 Lexicon-Free Conversational Speech Recognition with Neural Networks 논문(http://ai.stanford.edu/~amaas/papers/ctc_clm_naacl_2015.pdf)을 공부하고 정리한 글입니다. CTC 관련 내용은 CMU의 딥러닝 강의(https://www.youtube.com/watch?v=c86gfVGcvh4&t=4205s)를 참고했고 DBRNN 부분은 Team AI 블로그를 참고 했습니다.(https://aikorea.org/blog/rnn-tutorial-1/) Abstract 다음과 같은 3가지 구조만 사용한다. 1. NN : map acoustic input to characters 2. Ch..
Audio & Speech 2020. 2. 8. [음성인식] 4.1 Acousitc Model (HMM-GMM) 모두의 연구소 음성인식 풀잎스쿨에서 공부한 내용을 정리했습니다. 공부에 사용한 교재는 Speech and Language Processing 3rd Edition Appendix A: Hidden Markov Models, Speech and Language Processing 2nd Edition 9.1 ~ 9.2: The Hidden Markov Model Applied to Speech입니다. Speech Recognition Architecture Large-Vocabulary Continuous Speech Recognition(LVCSR) ; vocab이 크고 continuous한 발화를 기준으로 한다. 음성인식은 waveform을 input으로 받아 output으로 word sequence를..

티스토리툴바