본문 바로가기

Audio & Speech

Audio & Speech 2020. 4. 8. [음성인식] 5.2 Gaussian Mixture Model(GMM) [음성인식] 5.1 Vector Quantization(VQ)에서 이어지는 글입니다. HMM을 음성인식에 적용하기 위해 방출 확률(emission probability)을 모델링하는 방법을 알아보고 있습니다. 지난 글에서 알아본 VQ에 이어 이번에는 Gaussian Mixture Model(GMM)입니다. Guassian Mixture Model은 대표적인 비지도학습(unsupervised learning) 알고리즘 중 하나로 clustering과 유사한 논리 과정을 보인다. 비지도 학습은 라벨링이 안 된 데이터로 어떤 특성이나 규칙성을 찾아가는 머신러닝 학습 방법이다. GMM 공부에 선행되는 내용들을 정리한 뒤 다음 순서에 따라 논의를 전개하겠다. 1. Mulitnomial Distribution(다항..
Audio & Speech 2020. 4. 2. 오디오 데이터 전처리 (1) Waveform 모두의 연구소 음성인식 풀잎스쿨에서 Introduction to Speech Processing(2E) 중 acousitc featrure extraction 부분 공부한 내용을 정리한 글입니다. 또한 한국 인공지능협회 오디오 처리 세션에서 공부한 내용도 함께 정리했음을 밝힙니다. Index 오디오 데이터 전처리 (1) Waveform 오디오 데이터 전처리 (2) Fourier Transform & Spectrogram 오디오 데이터 전처리 (3) Cepstrum Analysis 오디오 데이터 전처리 (4) MFCC 오디오 데이터 전처리 (5) MFCC Audio? Audio 데이터를 다루기 위해선, audio가 무엇인지 어떻게 표현되는지 알아야한다. 기본적으로, audio는 어떤 물체가 진동하면서 발생..
Audio & Speech 2020. 4. 2. [음성인식] 4.3 Baum–Welch algorithm [음성인식]4,2 HMM에서 이어지는 글입니다. HMM은 likelihood, decoding, learning의 세 과정으로 이뤄져 있습니다. 그 중 마지막 과정인 learning 알고리즘에 사용되는 E-M 알고리즘 중 하나인 Baum–Welch algorithm에 대해 알아보겠습니다. 우리는 이전 글에서 HMM의 세가지 과정 중 likelihood를 계산하기 위한 forward algorithm, decoding을 하기 위한 Viterbi algorithm을 공부했다. 마지막 과정인 learning은 디코딩 과정에서 구한 best path hidden state Q와 관측값 O를 가지고 HMM 파라미터인 A(transition prob), B(emission prob)를 학습(추정)하는 과정이다. A..
Audio & Speech 2020. 4. 2. [음성인식] 4.2 Hidden Markov Model [음성인식] Lec.4_1 Acousitc Model (HMM-GMM)에서 살펴본 acousitc model은 HMM-GMM 기반 모델입니다. 그 중 HMM에 대해서 공부한 것을 정리했습니다. HMM을 이용해 특정 word를 pronunciation에 해당하는 phone들의 sequence로 나타낼 수 있다. 이를 통해 라벨링 되어있지 않은 speech data로 speech tagging이라는 supervised learning이 가능하게 된다. HMM 전에 근간이 되는 Markov chain부터 알아보자. Markov Chains 연속적인(sequential) 랜덤 변수의 확률에 대한 논의. 위 그림에서 파란색 동그라미가 state, 화살표는 transition probability(전이 확률 ; 다..
Audio & Speech 2020. 3. 25. 오디오 데이터 전처리 (5) MFCC 오디오 데이터 전처리(4)에서 이어지는 마지막 5번째 글입니다. 지난 4편에서는 spectrogram에 Mel filter bank라는 filter를 통과시켜 frequency와 power를 모두 변환해주어 Mel-Spectrogram을 구했습니다. 이제 마지막으로 Discrete Cosine Transform(DCT) 과정을 거쳐 MFCC를 구하는 과정을 알아보겠습니다. Index 오디오 데이터 전처리 (1) Waveform 오디오 데이터 전처리 (2) Fourier Transform & Spectrogram 오디오 데이터 전처리 (3) Cepstrum Analysis 오디오 데이터 전처리 (4) MFCC Discrete Cosine Transform(DCT) 앞선 3편에서 알 수 있듯이 우리는 fea..
Audio & Speech 2020. 3. 25. 오디오 데이터 전처리 (2) Fourier Transform & Spectrogram 오디오 데이터 전처리 (1) Waveform에서 이어지는 글입니다. 1편에서는 오디오 데이터에 대한 정의와 waveform, ADC, windowing과 energy에 대해 알아봤습니다. 이번 2편에서는 푸리에 변환을 통해 waveform을 spectrum으로 변환해 time domain에서 frequenct domain으로 넘기는 과정과 의미에 대해 알아보겠습니다. Index 오디오 데이터 전처리 (1) Waveform 오디오 데이터 전처리 (3) Cepstrum Analysis 오디오 데이터 전처리 (4) Mel Filter Bank 오디오 데이터 전처리 (5) MFCC 푸리에 변환(Fourier Transform) 앞서 언급한 바와 같이 Audio 신호는 차원이 매우 크고 한 신호에도 서로 다른 여..
Audio & Speech 2020. 3. 25. 오디오 데이터 전처리 (4) Mel Filter Bank 오디오 데이터 전처리 (3)에서 이어지는 4번째 글입니다. 지난 글에서는 잠깐 전체 흐름을 벗어나 cepstrum 분석에 대해 간단히 알아보았습니다. Cepstrum은 주파수 대역 간의 변동 특성을 파악하기 위한 Fundamatal frequencey, harmonic peak 등을 구할 수 있었습니다. 이는 spectrum보다 음성 신호를 더 잘 설명하기에 cepstrum-level에서 feature를 구할 겁니다. 이번 글에서는 잠시 떠났던 전처리 흐름으로 다시 돌아가 Mel filter bank를 통과시키는 scaling 과정에 대해 알아보겠습니다. Index 오디오 데이터 전처리 (1) Waveform 오디오 데이터 전처리 (2) Fourier Transform & Spectrogram 오디오 데..
Audio & Speech 2020. 3. 25. 오디오 데이터 전처리 (3) Cepstrum Analysis 오디오 데이터 전처리 (2)에서 이어지는 글입니다. 2편에서는 waveform에 푸리에 변환을 통해 spectrum을 뽑고, 각 frame을 옆으로 쌓아 시간 정보를 살려주는 spectrogram에 대해 알아봤습니다. 3편에서는 지난 푸리에 변환 단계에 이어서 audio feature extraction 과정을 설명하기 전에 잠깐 전처리 흐름에서 벗어나 cepstrum analysis에 대해 알아보겠습니다. Index 오디오 데이터 전처리 (1) Waveform 오디오 데이터 전처리 (2) Fourier Transform & Spectrogram 오디오 데이터 전처리 (4) Mel Filter Bank 오디오 데이터 전처리 (5) MFCC 다시 전체적인 흐름에서 보면 우리는 FFT를 통한 spectrum..

티스토리툴바