티스토리

현토리

검색하기

블로그 홈

현토리

hyunlee103.tistory.com/m

I am a M.S. student @ EE, POSTECH.

구독자: 41

방명록 방문하기

공지 About 모두보기

주요 글 목록

[논문] Improved Transformer for High-Resolution GANs(Zhao et al.) original paper: https://arxiv.org/pdf/2106.07631.pdf Abstract transformer는 long range dependency를 잘 모델링한다. 하지만, 연산 복잡도 때문에 고해상도 이미지 생성에 적용하기 어렵다. 다음 두 개의 핵심 알고리즘을 바탕으로한 계층적 트랜스포머 구조로 이를 해결한다. 1. low-resolution stages: multi-axis blocked self-attention: local, global attention을 효율적으로 섞는다 2. high-resolution stages: MLP + additional self modulation component 트랜스포머 구조로 이미지 생성을 하는 모델 제안, 이미지 크기에 line.. 공감수 0 댓글수 0 2021. 10. 21.
[논문] AUDIO TRANSFORMERS:TRANSFORMER ARCHITECTURES FOR LARGE SCALE AUDIO UNDERSTANDING original paper: https://arxiv.org/pdf/2105.00335.pdf Abstract Transformer만 써서 raw audio signal을 모델링 CNN pooling, wavelet decomposition에서 영감을 받은 multi-scale decompostion 임배딩 방법으로 성능을 향상 시킴 이 모델을 통해 non-linear & non constant bandwidth filter-bank를 학습할 수 있음 Data 200개의 클래스로 라벨이 붙어 있는 FSD50K 데이터 셋 사용, 51197개 오디오 클립을 1초 단위로 파싱하여 학습에 활용 Methodology Adapting Transformer Architecture for raw waveforms sa.. 공감수 2 댓글수 0 2021. 9. 3.
[논문] Dense passage retrieval for Open-Domain QA original paper: https://arxiv.org/pdf/2004.04906.pdf Abstract Open-domain question answering에서는 후보 context를 고르기 위한 passage retrieval 중요. 기존에는 TF-IDF와 같은 spare vector model 사용. 본 논문에서는 dual-encoder 모델을 활용한 dense passage retrieval 제시. Intro QA system - context retriever: 질문에 대한 답을 포함하는 passage subsets을 고름 - reader: context retriever에서 고른 후보들 평가 Retrieval - 기존에 사용하던 sparse vector model 보다 dense mod.. 공감수 1 댓글수 0 2021. 6. 8.
[논문] EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks original paper: https://arxiv.org/pdf/1905.11946.pdf 발표 PPT https://konkukackry.sharepoint.com/:p:/g/personal/chdnjf103_konkuk_ac_kr/Efhj8tmvHMNNskT_saA6dIkBRM3dNKm9cFNk8JMPfKhZ-A?e=aOJLpa Abstract CNN 모델의 크기를 키우면 성능이 좋아지지만, 리소스와 trade-off 가 있다. compoud coeffcient를 통해 모델 최적의 depth, width, resoultion을 찾는 EfficientNet을 제안한다. 이를 통해 적은 파라미터(리소스)로 뛰어난 성능을 달성했다. Intro CNN 모델 크기를 키우는 방법은 크게 depth, widt.. 공감수 0 댓글수 0 2021. 5. 27.
[파이썬] 클래스 상속과 method override 기존 클래스에 특정 method를 추가하거나 수정하고 싶을 때, 클래스를 상속받아 해당 method를 overrinding 한다. 파이써닉한 코드 스타일의 기본이고, 파이토치 소스코드에서 많이 등장하니까 확실하게 알아두자! class Student: def __init__(self, name: str) -> None: self.name = name def show(self): print(self.name) name을 변수로 갖는 Student class가 있을 때, 학과 변수를 추가하고 싶으면 __init__ method를 overriding 하면 된다. class StudentDept(Student): def __init__(self, dept: str, name: str) -> None: super(.. 공감수 0 댓글수 0 2021. 4. 30.
[논문-WIP] Lambda Network(ICLR, 2021) Abstract self-attention을 대신할 sequence data의 input과 contexts 사이의 관계를 모델링하는 lambda layer를 제시한다. lambda layer contexts을 선형함수로 변환해서 각 인풋에 적용한다. linear attention 처럼 cost가 높지 않음에도 불구하고 linear attention이 하지 못하는 contexts, 위치 기반 상호작용을 모델링하여 큰 구조화된 입력에 적용할 수 있다. CV task 에서 기존 CNN, attention 보다 성능이 좋았다. Intro long dependent sequence data 처리는 항상 머신러닝의 문제였다. self attetion은 이러한 데이터 구조를 모델링하는데 효과적이지만 cost가 높다... 공감수 0 댓글수 0 2021. 4. 29.
[논문] Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks origin paper: https://arxiv.org/pdf/2005.11401.pdf reference:ai.facebook.com/blog/retrieval-augmented-generation-streamlining-the-creation-of-intelligent-natural-language-processing-models Overview 문맥 정보를 반영하는 고정된 임배딩 모델 pre-trained neural retriever(Bert)과 seq2seq transformer(Bart)를 결합하여, task specific task에서 더 좋은 성능을 보이는 모델 RAG를 제안 Model 모델은 크게 retriever과 generator로 나뉜다. retriever retriever은 우선.. 공감수 3 댓글수 0 2021. 4. 28.
Hugging Face 기초 😇 트랜스포머가 대세가 된 요즘 소스 코드에서 허깅 페이스의 transformer 모듈을 자주 보게 된다. 파이토치도 텐서 플로우도 아닌 허깅 페이스는 무엇인지 어떻게 동작하는지 간단히 정리한다. 공식문서가 아주 잘되어 있다. huggingface.co/transformers/index.html Transformers State-of-the-art Natural Language Processing for Pytorch and TensorFlow 2.0. 🤗 Transformers (formerly known as pytorch-transformers and pytorch-pretrained-be... huggingface.co Hugging Face 허깅페이스는 트랜스포머를 기반으로 하는 다양한 모델(tra.. 공감수 20 댓글수 2 2021. 4. 23.
[논문-WIP] DeepFM: A Factorization-Machine based Neural Network for CTR Prediction Introduction CTR은 추천 시스템에서 중요한 지표고, 추천시스템 모델은 CTR을 최대화하는 것을 목표로 한다. CTR의 signal이 되는 feature interaction을 효과적으로 모델링하는게 핵심이고 대부분의 feature interaction은 숨겨져 있기에 머신러닝으로 detection 해야 한다. *논문에서 얘기하는 order는 interaction하는 feature 수를 의미한다. FTRL 과 같은 GLM 은 선형 모델이라 feature interaction을 반영하지 못하는 한계가 있다. Factorization Machine(이후 FM)은 feature의 latent 벡터간의 내적으로 pairwise feature interaction을 표현했고 괜찮을 결과를 냈다(cost.. 공감수 0 댓글수 0 2021. 4. 15.
[Dev] 리눅스 inode full 해결하기(WIP) OSError: Errcode: 28 - No space left on device 에러메시지는 서버 저장공간 부족 때문인 것 처럼 보이지만, 확인해보니 디스크 용량은 충분했다. 문제는 리눅스 inode가 가득찬 것. inode는 리눅스 서버에서 생성 가능한 파일 갯수다. 즉, 최대 생성가능한 파일 갯수를 넘어서 OSError가 발생한거다. 공감수 0 댓글수 0 2021. 4. 14.
[논문] BERT4Rec: Sequential Recommendation with BidirectionalEncoder Representations from Transformer Abstract 이때까지의 딥러닝을 활용한 추천 시스템은 RNN 계열을 활용해 unidirectional 하게 유저 상호작용을 히든 벡터로 인코딩했다. unidirectional 모델링은 다음과 같은 문제점이 있다. 표현력 한계 순서가 무의미 한 경우도 순서를 세우는 문제 이 논문에서는 이러한 문제를 해결하기 위해 bidirectional self-attention을 활용한 Bert4Rec을 제안한다. Bert4Rec 1. problem statement 유저 벡터 아이템 벡터 interaction sequence: 특정 유저 u가 t 시점에 상호작용하는 아이템 시퀀스 $n_u$ 시점 이전까지의 sequence를 통해 $n_{u + 1}$ 시점의 유저가 어떤 아이템과 상호작용할지 예측하는 문제. 이는 l.. 공감수 2 댓글수 0 2021. 4. 8.
[DL] Pytorch Lightning ⚡ 번개 파이토치에 대해 알아보자~ 파이토치 라이트닝은 기존 파이토치에서 학습/추론 및 데이터 로드 부분을 모듈화하여 반복되는 코드를 구현하지 않아도 되는 패키지다. 기존 파이토치는 모델 클래스, 데이터셋 클래스, 학습 과정을 따로 구현했으나 라이트닝은 한 클래스 안에 전부 구현한다. Gru를 이용한 오토인코더 모델을 예시로 구현해봤다. import pytorch_lightning as pl import torch import torch.nn as nn import torch.nn.functional as F class GruAutoencoder(pl.LightningModule): def __init__(self, config, chord_token, batch_size): super().__init__(.. 공감수 1 댓글수 9 2021. 4. 8.
[Dev] Git 협업 프로토콜(branch - commit - PR - Merge) 깃헙으로 프로젝트 협업하는 기본적인 프로토콜을 정리했다. 1. 프로젝트 repository clone git clone 2. 가상환경 구축 # 설치된 pyenv 환경 중 원하는 파이썬 버전을 활성화. pyenv shell # 원하는 파이썬 원하는 가상환경을 설치. # python3 -m venv "원하는 가상 환경 이름" python3 -m venv .venv # 가상 환경 활성화 source .venv/bin/activate 3. 디펜던시 설치 (pip, poetry, ...) repo에 poetry.lock으로 디펜던시 관리하고 있다면, pip install poetry poetry install 4. pre-commit 활성화 pre-commit은 commit 전에 정해진 양식에 맞게 코드를 자동 .. 공감수 1 댓글수 0 2021. 3. 22.
[CS] 파이썬 multi-processing(parmap) 수백만 개의 데이터를 처리하는 반복이 많은 함수는 multi processing을 적용하는 게 좋다. 딥러닝 모델에서 weight를 gpu에 올리는 연산을 제외하고 대부분의 파이썬 연산은 cpu에서 진행하게 된다. cpu는 여러 개의 core를 갖는데 multi processing은 여러 core에 동일한 작업을 병렬 처리하게 해, 연산 속도를 향상한다. 기존의 파이썬에서 많이 쓰는 Pool은 함수에 파라미터가 많은 경우 처리하기가 어려웠다. parmap을 이용하면 파라미터가 많은 함수도 쉽게 병렬 처리할 수 있다. 우선 컴퓨터(서버)에 cpu core가 몇 개인지 확인해야한다. import multiprocessing NUM_CORES = multiprocessing.cpu_count() # 내 서버는.. 공감수 1 댓글수 0 2021. 3. 22.
[WIL] CS & Dev convention 회사에서 머신러닝 엔지니어로 인턴을 시작하면서, 새로 알게되는 개발/CS 관련 내용을 정리합니다. TIL 하려다, today로 끝나지 않으니 What I learned, WIL로 태그를 달아봤습니다😊. 통계학도와 개발자 사이에서 부화뇌동 하지 않길 바라며, 글을 시작합니다. Dev. 파이썬 런타임 환경 구성 pyenv 파이썬 가상환경 구성 vitualenv(venv) -> conda low level 느낌 가상환경은 항상 프로젝트 단위로 따로 만든다! -> 프로젝트간 디펜던시가 겹치는 문제를 방지 프로젝트를 깃헙으로 관리한다면, 레포를 clone 한 뒤, 해당 폴더 안에서 venv로 가상환경 구성 # 설치된 pyenv 환경 중 원하는 파이썬 버전을 활성화. pyenv shell # 원하는 파이썬 원하는 .. 공감수 0 댓글수 0 2021. 3. 4.
[논문] GPT-2 Overview GPT-2는 트랜스포머의 디코더만 사용하는 langauge model 이다. 인코더를 사용하는 BERT와 다르게 auto-regressive하다. 즉, 시작 token '' 로 token 'The' 를 추정하고 추정된 'The' 를 다시 인풋으로 다음 token을 추정한다. 각 디코더는 masked self-attention과 FC로 구성, 기존 트랜스포머에 있는 encoder-decoder self-attention은 인코더가 없기에 사용하지 않는다. Input embedding 인풋 token 임배딩은 byte pair encoding을 사용, GPT 모델 크기에 따라 임배딩 차원이 정해진다. Masked Self-Attention Masked self attention은 현재 que.. 공감수 0 댓글수 0 2021. 3. 4.
[NLP] ELMo, Contextual Word Representation word embedding 기존 w2v, Glove와 같은 단어 수준 임배딩은 단어를 하나의 vector representation으로 나타내므로 한계가 있다. LSTM 등 language model은 각 hidden에서 context-specific word representation을 갖는다. 이러한 LM의 context-specific word representation 자체를 임배딩 벡터로 이용해볼 수 있지 않을까? Language Model 을 활용한 단어 임배딩을 알아보자. Language model word embedding 앞서 언급했듯이 LSTM 등 language model은 문맥 정보를 반영한 context-specific word representation를 갖는다. 이를 단어의 임.. 공감수 0 댓글수 0 2021. 2. 10.
[NLP] Language Model, Seq2Seq, Attention Stanford Univ. cs224n(2019) 강의를 듣고 정리한 내용입니다. Language Model(LM) 현재까지 주어진 문장의 다음 단어를 예측하는 모델, eg) 인터넷 검색 자동완성. 수식으로 보면 다음과 같다. $P(x^{(t+1)} | x^{(t)}, . . , x^{(1)})$ 이 조건부 확률을 marginal들의 곱으로 표현해 joint로 나타내면 아래와 같이 전체 sequence의 확률을 표현할 수 있다. $P(x^{(1)}, .. , x^{(T)}) = \prod_{t=1}^{T}P(x^{(t)}|x^{(t-1)}, .. ,x^{(1)})$ 즉, 어떤 sequence의 확률을 LM의 곱으로 표현할 수 있다. 즉 LM은 특정 sequence에 확률을 할당하므로, 이를 NLP에 적용.. 공감수 0 댓글수 0 2021. 2. 10.
[정보이론] KL-divergence의 비대칭성과 Cross Entropy Entropy 엔트로피는 특정 확률분포가 갖는 불확실성, 무질서 정도를 정보량의 기댓값으로 수치화한 값이다. 엔트로피가 큰 분포는 분산이 큰 정규분포, 엔트로피가 작은 분포는 분산이 작아 특정 영역에 확률값들이 모여 있는 분포다. 아래의 녹색 strong prior가 엔트로피가 작은 분포, 파란색 weak prior가 엔트로피가 큰 분포이다. $X$ : event point $P(X=x)$ : event 확률 $-logP(X)$ : X의 정보량(self-information) $E_{X\sim P} [-logP(X)]$ : 확률분포 P(X)의 entropy(정보량 기댓값) KL-divergence KL-divergence는 확률분포간 정보량 차이로 확률분포 P(x)와 Q(x)의 차이를 측정한다. 이를 P.. 공감수 1 댓글수 0 2021. 2. 4.
[Deep learning] 4장 수치 계산(Numerical Computation) Deep Learning, Ian Goodfellow(www.deeplearningbook.org/) 공부하고 정리한 글입니다. 내용을 함께 고민해 준 KAIST 김현우, 최정만에게 감사합니다. 대부분의 머신러닝 알고리즘은 해석적 방법이 아닌 반복을 통해 추정하는 최적화 문제로 알고리즘을 푼다. 하지만 디지털 컴퓨터의 유한한 비트 메모리로 무한한 실수를 정확하게 표현할 수 없기에 생기는 문제들이 있다. 1. Overflow, Underflow 컴퓨터의 비트 표현으로는 실수를 정확히 표현할 수 없어, 반올림을 통한 근사표현을 한다. 이때, 0에 가까운 수가 반올림에 의해 정확히 0이 되는 것을 underflow, 매우 큰 수가 반올림되어 $\infty, -\infty$가 되는 것을 overflow라고 한다.. 공감수 0 댓글수 0 2021. 1. 18.
Hessian 행렬의 고윳값과 definite Definite 정의 $f(x) = X^TAX = a_{11}x_1^2 + 2a_{12}x_1x_2 + \cdot \cdot +a_{nn}x_n^2, \ X\in \mathbb{R}^n$ 위와 같이, n개 변수를 갖는 quadratic form 함수 f(x)가 있을 때, 극점 x = 0을 제외한 모든 x에 대해 $X^TAX > 0$이면 positive definite 하고 f(x)가 해당 구간에서 convex 하며 극소값을 갖는다. $X^TAX < 0$이면 negative definite하고 f(x)가 해당 구간에서 concave 하며 극대값을 갖는다. 정리 이때, 행렬 A의 모든 eigenvalue가 0보다 크면 f(x)가 positve definite, 작으면 negative definite이고, 이.. 공감수 1 댓글수 0 2021. 1. 15.
[Deep learning] 8장 최적화 ① Deep Learning, Ian Goodfellow(www.deeplearningbook.org/) 공부하고 정리한 글입니다. 많은 내용을 함께 고민해준 KAIST 김현우, 최정만에게 감사합니다. 1. Training vs Optimization 머신러닝은 성과 측도 P(고양이, 개를 얼마나 잘 분류하는지)를 좋게하는게 목표인데, 직접 P를 평가하기 어려워 학습과정에서 loss 최소화하는 간접적인 방법을 사용한다. 전통적인 최적화는 loss를 최소화 하는 것 자체가 목표다. loss의 기댓값을 risk function이라고 하고 다음과 같이 표현한다. 이때, $p_{data}$ 분포를 알면 순수 최적화 문제지만, 전체 데이터 분포를 모르는 머신러닝은 sample로 추정한 $\hat{p}_{data}(x.. 공감수 0 댓글수 1 2021. 1. 14.
[Deep learning] 3장 확률론과 정보 이론(probability, information theory) Deep Learning, Ian Goodfellow(www.deeplearningbook.org/) 공부하고 정리한 글입니다. 내용을 함께 고민해 준 KAIST 김현우, 최정만에게 감사합니다. Intro 확률론은 불확실한 명제를 서술할 수 있고, 불확실성이 존재하는 상황에서 원하는 것을 inference 할 수 있다. 정보 이론은 주어진 확률분포에 존재하는 불확실성의 양을 측정한다. 1. Why Probability? 머신러닝은 stochastic, nondeterministic 한 수치를 다룰 때가 있다. 이때 복잡하지만 확실한 규칙보다 간단하지만 불확실한 규칙(확률)을 사용하는게 실용적이다. 특정 시행을 여러번 반복했을 때 특정 사건이 나타날 빈도를 확률로 정의하는 관점이 빈도주의 확률(freque.. 공감수 0 댓글수 0 2021. 1. 14.
[Deep Learning] 2장 선형 대수 Deep Learning, Ian Goodfellow(www.deeplearningbook.org/) 공부하고 정리한 글입니다. 많은 내용을 함께 고민해준 KAIST 김현우, 최정만에게 감사합니다. 1. Multiplying Matrices and Vectors 모든 행렬 선형 변환이자 함수다. 행렬, 벡터의 연산은 다음 세 가지가 대표적이다. 1) Matrix product: 행렬곱, 차원이 맞는 두 행렬의 곱 연산에 사용된다. $AB$ 2) Element-wise product: 차원이 맞는 두 행렬을 동일한 위치의 원소끼리 곱한다. $A \odot B$ 3) Dot product(내적): 행렬곱의 각 성분은 행렬을 구성하는 벡터들의 내적이다. $v^Tu$ 내적은 교환법칙이 성립하지만 행렬곱은 교환 .. 공감수 0 댓글수 0 2021. 1. 10.
독립과 직교(orthogonal) Independent와 orthogonal은 통계학을 공부하면서 계속해서 등장한다. 뭔가 비슷하면서도 다른 두 개념을 더 헷갈리게 하는 건 대상이 벡터인지 변수(variable)인지에 따라 의미가 달라지기 때문이다. 선형 대수에서 벡터를 대상으로 하는 독립은 선형 독립, 통계학에서 변수를 대상으로 하는 독립은 통계적 독립이다. 우선 선형대수에서 정의하는 벡터의 선형 독립과 직교에 대해 알아보자. Indepent & Orthogonal for Vector 두 벡터의 내적이 0일 때, 두 벡터는 직교한다고 정의한다. 이때 두 벡터가 이루는 각도가 90도 이며 코사인 값은 0이다. 한편 특정 벡터의 선형 결합으로 다른 벡터를 표현할 수 없을 때, 두 벡터는 선형 독립이라고 정의한다. 따라서 두 벡터가 직교하면.. 공감수 3 댓글수 2 2021. 1. 9.
객체지향 프로그래밍(2) 상속과 다형성 객체 지향 프로그래밍의 4가지 Concept 1. 추상화 특정 프로그래밍에서 필요한 최소한의 정보를 제외한 나머지 부분을 가리는 것, 함수, class가 추상화의 좋은 예시다. 예를 들어 덧셈을 계산해주는 함수를 sum_function으로 정의하면, 이후 덧셈을 계산할 때 마다 sum_function과 이 함수에 필요한 파라미터만 있으면 된다. 추상화를 잘해야 협업과 디버깅에 용이하다. 이를 위해 클래스, 변수, method들 이름에 기능과 역할이 담기게 이름을 잘 짓는것이 중요하다. 여기에 더해 docstring을 이용해 기능을 문서화 해 놓으면 help를 통해 한꺼번에 볼 수 있고 협업할 때 좋다! class BankAccount: # docstring 문서화 """ 은행 계좌 생성 class par.. 공감수 0 댓글수 0 2021. 1. 3.
객체지향 프로그래밍(1) class, method, instance 객체 : 속성 + 행동을 떠올릴 수 있는 모든 것 객체지향 프로그래밍 : 프로그래밍 패러다임 중 하나, 프로그래밍에 필요한 데이터를 추상화 시켜 속성과 행동을 가진 객체를 만들고, 그 객체들 간 상호작용을 통해 로직을 구성하는 프로그래밍 방법 1. 프로그램에 필요한 객체 정의 2. 객체의 속성과 행동 정의 3. 객체 간 상호작용 정의 객체 구현 in python 파이썬은 순수객체지향언어, 파이썬의 모든 것은 특정 class의 객체(instance)다. type 함수를 통해 인스턴스의 class를 확인할 수 있다. 객체는 속성 변경 여부에 따라 다음 2가지로 구분 된다. mutable object : 한번 생성한 인스턴스 속성 변경 가능(eg. list, dict, 직접 만든 class) immutable.. 공감수 0 댓글수 0 2020. 12. 29.
[Deep learning] 6장 Deep Feedforward Network Deep Learning, Ian Goodfellow(www.deeplearningbook.org/) 공부하고 정리한 글입니다. Feedforward network 전형적인 딥러닝 모델, 특정 함수 f*를 잘 표현하는 것이 목표, 모델 output이 다시 모델로 연결되는 feedback connection이 없음 Training : 네트워크 $f(x;\theta)$가 f*(x)에 가까워지게 함수의 모수($\theta $)를 찾는 과정 노드의 affine 결합은 특정 공간의 hyperplane을 만든다, 따라서 노드가 충분히 많으면 같은 공간에 여러 hyperplane이 생기고 이를 통해 복잡한 함수도 근사할 수 있다.(아래 그림) 이때, ReLU와 같은 비선형 함수를 사용해 더 정확하고 빠르게 근사하는 .. 공감수 0 댓글수 0 2020. 12. 26.
[논문] Session-based recommendations with RNN session-based recommendation 같은 유저라도 서로 다른 세션 활동을 가지므로, 이를 독립적으로 보고 유저가 아닌 세션 이벤트 기준으로 모델링. 유저 정보를 사용하지 않으므로 비교적 단순하다. 추천 시스템은 MF와 같은 latent matrix를 사용한 모델과 유사도 기반 모델이 있다. session-based recommendation은 후자를 사용한다. one-to-one RNN : t 시점 이벤트(세션), 다음에 어떤 이벤트(세션)가 올지 예측 *session data { "hit_number": 1, "elapsed_time": 0.0, "page_type": "PAGE", "page_path": "/main/1", "page_event_info": null }, { "hit_.. 공감수 0 댓글수 0 2020. 12. 12.
[TIL] Softmax에서 왜 e를 쓸까 Softmax 소프트 맥스 함수는 입력 벡터를 합이 1이 되는 확률 값으로 변환하는 함수다. 다항 분포의 posterior 추정으로 유도 가능하다. 이를 통해 자연스럽게 multi-class 문제에 적합하다는 것을 알 수 있다. 자연상수 e를 쓰는 이유는 두 가지 1. 미분이 용이 -> gradient를 발생시켜 역전파~ 2. 입력 벡터가 더 잘 구분되게(큰 값은 더 크게, 작은 값은 더 작게) 자연상수는 2.7 정도 값을 갖고, 이를 밑으로 하는 자연 지수 함수는 다음과 같다. 입력 값 x에 변화량에 비해 출력 값 y의 변화량이 더 크다, 즉 입력 벡터에서 차이가 k만큼 난다면 softmax 확률에서는 e^k만큼 차이가 난다. 따라서 입력 벡터 값을 더 잘 구분되는 확률 값으로 mapping 한다고 볼.. 공감수 1 댓글수 4 2020. 12. 10.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.