-
Paper [논문] Improved Transformer for High-Resolution GANs(Zhao et al.) original paper: https://arxiv.org/pdf/2106.07631.pdf Abstract transformer는 long range dependency를 잘 모델링한다. 하지만, 연산 복잡도 때문에 고해상도 이미지 생성에 적용하기 어렵다. 다음 두 개의 핵심 알고리즘을 바탕으로한 계층적 트랜스포머 구조로 이를 해결한다. 1. low-resolution stages: multi-axis blocked self-attention: local, global attention을 효율적으로 섞는다 2. high-resolution stages: MLP + additional self modulation component 트랜스포머 구조로 이미지 생성을 하는 모델 제안, 이미지 크기에 line.. -
Paper [논문] AUDIO TRANSFORMERS:TRANSFORMER ARCHITECTURES FOR LARGE SCALE AUDIO UNDERSTANDING original paper: https://arxiv.org/pdf/2105.00335.pdf Abstract Transformer만 써서 raw audio signal을 모델링 CNN pooling, wavelet decomposition에서 영감을 받은 multi-scale decompostion 임배딩 방법으로 성능을 향상 시킴 이 모델을 통해 non-linear & non constant bandwidth filter-bank를 학습할 수 있음 Data 200개의 클래스로 라벨이 붙어 있는 FSD50K 데이터 셋 사용, 51197개 오디오 클립을 1초 단위로 파싱하여 학습에 활용 Methodology Adapting Transformer Architecture for raw waveforms sa.. -
Paper [논문] Dense passage retrieval for Open-Domain QA original paper: https://arxiv.org/pdf/2004.04906.pdf Abstract Open-domain question answering에서는 후보 context를 고르기 위한 passage retrieval 중요. 기존에는 TF-IDF와 같은 spare vector model 사용. 본 논문에서는 dual-encoder 모델을 활용한 dense passage retrieval 제시. Intro QA system - context retriever: 질문에 대한 답을 포함하는 passage subsets을 고름 - reader: context retriever에서 고른 후보들 평가 Retrieval - 기존에 사용하던 sparse vector model 보다 dense mod.. -
Paper [논문] EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks original paper: https://arxiv.org/pdf/1905.11946.pdf 발표 PPT https://konkukackry.sharepoint.com/:p:/g/personal/chdnjf103_konkuk_ac_kr/Efhj8tmvHMNNskT_saA6dIkBRM3dNKm9cFNk8JMPfKhZ-A?e=aOJLpa Abstract CNN 모델의 크기를 키우면 성능이 좋아지지만, 리소스와 trade-off 가 있다. compoud coeffcient를 통해 모델 최적의 depth, width, resoultion을 찾는 EfficientNet을 제안한다. 이를 통해 적은 파라미터(리소스)로 뛰어난 성능을 달성했다. Intro CNN 모델 크기를 키우는 방법은 크게 depth, widt.. -
Programming [파이썬] 클래스 상속과 method override 기존 클래스에 특정 method를 추가하거나 수정하고 싶을 때, 클래스를 상속받아 해당 method를 overrinding 한다. 파이써닉한 코드 스타일의 기본이고, 파이토치 소스코드에서 많이 등장하니까 확실하게 알아두자! class Student: def __init__(self, name: str) -> None: self.name = name def show(self): print(self.name) name을 변수로 갖는 Student class가 있을 때, 학과 변수를 추가하고 싶으면 __init__ method를 overriding 하면 된다. class StudentDept(Student): def __init__(self, dept: str, name: str) -> None: super(..
-
Paper [논문-WIP] Lambda Network(ICLR, 2021) Abstract self-attention을 대신할 sequence data의 input과 contexts 사이의 관계를 모델링하는 lambda layer를 제시한다. lambda layer contexts을 선형함수로 변환해서 각 인풋에 적용한다. linear attention 처럼 cost가 높지 않음에도 불구하고 linear attention이 하지 못하는 contexts, 위치 기반 상호작용을 모델링하여 큰 구조화된 입력에 적용할 수 있다. CV task 에서 기존 CNN, attention 보다 성능이 좋았다. Intro long dependent sequence data 처리는 항상 머신러닝의 문제였다. self attetion은 이러한 데이터 구조를 모델링하는데 효과적이지만 cost가 높다... -
Paper [논문] Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks origin paper: https://arxiv.org/pdf/2005.11401.pdf reference:ai.facebook.com/blog/retrieval-augmented-generation-streamlining-the-creation-of-intelligent-natural-language-processing-models Overview 문맥 정보를 반영하는 고정된 임배딩 모델 pre-trained neural retriever(Bert)과 seq2seq transformer(Bart)를 결합하여, task specific task에서 더 좋은 성능을 보이는 모델 RAG를 제안 Model 모델은 크게 retriever과 generator로 나뉜다. retriever retriever은 우선.. -
ML & DL Hugging Face 기초 😇 트랜스포머가 대세가 된 요즘 소스 코드에서 허깅 페이스의 transformer 모듈을 자주 보게 된다. 파이토치도 텐서 플로우도 아닌 허깅 페이스는 무엇인지 어떻게 동작하는지 간단히 정리한다. 공식문서가 아주 잘되어 있다. huggingface.co/transformers/index.html Transformers State-of-the-art Natural Language Processing for Pytorch and TensorFlow 2.0. 🤗 Transformers (formerly known as pytorch-transformers and pytorch-pretrained-be... huggingface.co Hugging Face 허깅페이스는 트랜스포머를 기반으로 하는 다양한 모델(tra..
