본문 바로가기

ML & DL

ML & DL 2021. 4. 23. Hugging Face 기초 😇 트랜스포머가 대세가 된 요즘 소스 코드에서 허깅 페이스의 transformer 모듈을 자주 보게 된다. 파이토치도 텐서 플로우도 아닌 허깅 페이스는 무엇인지 어떻게 동작하는지 간단히 정리한다. 공식문서가 아주 잘되어 있다. huggingface.co/transformers/index.html Transformers State-of-the-art Natural Language Processing for Pytorch and TensorFlow 2.0. 🤗 Transformers (formerly known as pytorch-transformers and pytorch-pretrained-be... huggingface.co Hugging Face 허깅페이스는 트랜스포머를 기반으로 하는 다양한 모델(tra..
ML & DL 2021. 4. 8. [DL] Pytorch Lightning ⚡ 번개 파이토치에 대해 알아보자~ 파이토치 라이트닝은 기존 파이토치에서 학습/추론 및 데이터 로드 부분을 모듈화하여 반복되는 코드를 구현하지 않아도 되는 패키지다. 기존 파이토치는 모델 클래스, 데이터셋 클래스, 학습 과정을 따로 구현했으나 라이트닝은 한 클래스 안에 전부 구현한다. Gru를 이용한 오토인코더 모델을 예시로 구현해봤다. import pytorch_lightning as pl import torch import torch.nn as nn import torch.nn.functional as F class GruAutoencoder(pl.LightningModule): def __init__(self, config, chord_token, batch_size): super().__init__(..
ML & DL 2021. 2. 10. [NLP] ELMo, Contextual Word Representation word embedding 기존 w2v, Glove와 같은 단어 수준 임배딩은 단어를 하나의 vector representation으로 나타내므로 한계가 있다. LSTM 등 language model은 각 hidden에서 context-specific word representation을 갖는다. 이러한 LM의 context-specific word representation 자체를 임배딩 벡터로 이용해볼 수 있지 않을까? Language Model 을 활용한 단어 임배딩을 알아보자. Language model word embedding 앞서 언급했듯이 LSTM 등 language model은 문맥 정보를 반영한 context-specific word representation를 갖는다. 이를 단어의 임..
ML & DL 2021. 2. 10. [NLP] Language Model, Seq2Seq, Attention Stanford Univ. cs224n(2019) 강의를 듣고 정리한 내용입니다. Language Model(LM) 현재까지 주어진 문장의 다음 단어를 예측하는 모델, eg) 인터넷 검색 자동완성. 수식으로 보면 다음과 같다. $P(x^{(t+1)} | x^{(t)}, . . , x^{(1)})$ 이 조건부 확률을 marginal들의 곱으로 표현해 joint로 나타내면 아래와 같이 전체 sequence의 확률을 표현할 수 있다. $P(x^{(1)}, .. , x^{(T)}) = \prod_{t=1}^{T}P(x^{(t)}|x^{(t-1)}, .. ,x^{(1)})$ 즉, 어떤 sequence의 확률을 LM의 곱으로 표현할 수 있다. 즉 LM은 특정 sequence에 확률을 할당하므로, 이를 NLP에 적용..
ML & DL 2021. 1. 18. [Deep learning] 4장 수치 계산(Numerical Computation) Deep Learning, Ian Goodfellow(www.deeplearningbook.org/) 공부하고 정리한 글입니다. 내용을 함께 고민해 준 KAIST 김현우, 최정만에게 감사합니다. 대부분의 머신러닝 알고리즘은 해석적 방법이 아닌 반복을 통해 추정하는 최적화 문제로 알고리즘을 푼다. 하지만 디지털 컴퓨터의 유한한 비트 메모리로 무한한 실수를 정확하게 표현할 수 없기에 생기는 문제들이 있다. 1. Overflow, Underflow 컴퓨터의 비트 표현으로는 실수를 정확히 표현할 수 없어, 반올림을 통한 근사표현을 한다. 이때, 0에 가까운 수가 반올림에 의해 정확히 0이 되는 것을 underflow, 매우 큰 수가 반올림되어 $\infty, -\infty$가 되는 것을 overflow라고 한다..
ML & DL 2021. 1. 14. [Deep learning] 8장 최적화 ① Deep Learning, Ian Goodfellow(www.deeplearningbook.org/) 공부하고 정리한 글입니다. 많은 내용을 함께 고민해준 KAIST 김현우, 최정만에게 감사합니다. 1. Training vs Optimization 머신러닝은 성과 측도 P(고양이, 개를 얼마나 잘 분류하는지)를 좋게하는게 목표인데, 직접 P를 평가하기 어려워 학습과정에서 loss 최소화하는 간접적인 방법을 사용한다. 전통적인 최적화는 loss를 최소화 하는 것 자체가 목표다. loss의 기댓값을 risk function이라고 하고 다음과 같이 표현한다. 이때, $p_{data}$ 분포를 알면 순수 최적화 문제지만, 전체 데이터 분포를 모르는 머신러닝은 sample로 추정한 $\hat{p}_{data}(x..
ML & DL 2021. 1. 14. [Deep learning] 3장 확률론과 정보 이론(probability, information theory) Deep Learning, Ian Goodfellow(www.deeplearningbook.org/) 공부하고 정리한 글입니다. 내용을 함께 고민해 준 KAIST 김현우, 최정만에게 감사합니다. Intro 확률론은 불확실한 명제를 서술할 수 있고, 불확실성이 존재하는 상황에서 원하는 것을 inference 할 수 있다. 정보 이론은 주어진 확률분포에 존재하는 불확실성의 양을 측정한다. 1. Why Probability? 머신러닝은 stochastic, nondeterministic 한 수치를 다룰 때가 있다. 이때 복잡하지만 확실한 규칙보다 간단하지만 불확실한 규칙(확률)을 사용하는게 실용적이다. 특정 시행을 여러번 반복했을 때 특정 사건이 나타날 빈도를 확률로 정의하는 관점이 빈도주의 확률(freque..
ML & DL 2021. 1. 10. [Deep Learning] 2장 선형 대수 Deep Learning, Ian Goodfellow(www.deeplearningbook.org/) 공부하고 정리한 글입니다. 많은 내용을 함께 고민해준 KAIST 김현우, 최정만에게 감사합니다. 1. Multiplying Matrices and Vectors 모든 행렬 선형 변환이자 함수다. 행렬, 벡터의 연산은 다음 세 가지가 대표적이다. 1) Matrix product: 행렬곱, 차원이 맞는 두 행렬의 곱 연산에 사용된다. $AB$ 2) Element-wise product: 차원이 맞는 두 행렬을 동일한 위치의 원소끼리 곱한다. $A \odot B$ 3) Dot product(내적): 행렬곱의 각 성분은 행렬을 구성하는 벡터들의 내적이다. $v^Tu$ 내적은 교환법칙이 성립하지만 행렬곱은 교환 ..

티스토리툴바