본문 바로가기

분류 전체보기

Paper 2021. 10. 21. [논문] Improved Transformer for High-Resolution GANs(Zhao et al.) original paper: https://arxiv.org/pdf/2106.07631.pdf Abstract transformer는 long range dependency를 잘 모델링한다. 하지만, 연산 복잡도 때문에 고해상도 이미지 생성에 적용하기 어렵다. 다음 두 개의 핵심 알고리즘을 바탕으로한 계층적 트랜스포머 구조로 이를 해결한다. 1. low-resolution stages: multi-axis blocked self-attention: local, global attention을 효율적으로 섞는다 2. high-resolution stages: MLP + additional self modulation component 트랜스포머 구조로 이미지 생성을 하는 모델 제안, 이미지 크기에 line..
Paper 2021. 9. 3. [논문] AUDIO TRANSFORMERS:TRANSFORMER ARCHITECTURES FOR LARGE SCALE AUDIO UNDERSTANDING original paper: https://arxiv.org/pdf/2105.00335.pdf Abstract Transformer만 써서 raw audio signal을 모델링 CNN pooling, wavelet decomposition에서 영감을 받은 multi-scale decompostion 임배딩 방법으로 성능을 향상 시킴 이 모델을 통해 non-linear & non constant bandwidth filter-bank를 학습할 수 있음 Data 200개의 클래스로 라벨이 붙어 있는 FSD50K 데이터 셋 사용, 51197개 오디오 클립을 1초 단위로 파싱하여 학습에 활용 Methodology Adapting Transformer Architecture for raw waveforms sa..
Paper 2021. 6. 8. [논문] Dense passage retrieval for Open-Domain QA original paper: https://arxiv.org/pdf/2004.04906.pdf Abstract Open-domain question answering에서는 후보 context를 고르기 위한 passage retrieval 중요. 기존에는 TF-IDF와 같은 spare vector model 사용. 본 논문에서는 dual-encoder 모델을 활용한 dense passage retrieval 제시. Intro QA system - context retriever: 질문에 대한 답을 포함하는 passage subsets을 고름 - reader: context retriever에서 고른 후보들 평가 Retrieval - 기존에 사용하던 sparse vector model 보다 dense mod..
Paper 2021. 5. 27. [논문] EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks original paper: https://arxiv.org/pdf/1905.11946.pdf 발표 PPT https://konkukackry.sharepoint.com/:p:/g/personal/chdnjf103_konkuk_ac_kr/Efhj8tmvHMNNskT_saA6dIkBRM3dNKm9cFNk8JMPfKhZ-A?e=aOJLpa Abstract CNN 모델의 크기를 키우면 성능이 좋아지지만, 리소스와 trade-off 가 있다. compoud coeffcient를 통해 모델 최적의 depth, width, resoultion을 찾는 EfficientNet을 제안한다. 이를 통해 적은 파라미터(리소스)로 뛰어난 성능을 달성했다. Intro CNN 모델 크기를 키우는 방법은 크게 depth, widt..
Programming 2021. 4. 30. [파이썬] 클래스 상속과 method override 기존 클래스에 특정 method를 추가하거나 수정하고 싶을 때, 클래스를 상속받아 해당 method를 overrinding 한다. 파이써닉한 코드 스타일의 기본이고, 파이토치 소스코드에서 많이 등장하니까 확실하게 알아두자! class Student: def __init__(self, name: str) -> None: self.name = name def show(self): print(self.name) name을 변수로 갖는 Student class가 있을 때, 학과 변수를 추가하고 싶으면 __init__ method를 overriding 하면 된다. class StudentDept(Student): def __init__(self, dept: str, name: str) -> None: super(..
Paper 2021. 4. 29. [논문-WIP] Lambda Network(ICLR, 2021) Abstract self-attention을 대신할 sequence data의 input과 contexts 사이의 관계를 모델링하는 lambda layer를 제시한다. lambda layer contexts을 선형함수로 변환해서 각 인풋에 적용한다. linear attention 처럼 cost가 높지 않음에도 불구하고 linear attention이 하지 못하는 contexts, 위치 기반 상호작용을 모델링하여 큰 구조화된 입력에 적용할 수 있다. CV task 에서 기존 CNN, attention 보다 성능이 좋았다. Intro long dependent sequence data 처리는 항상 머신러닝의 문제였다. self attetion은 이러한 데이터 구조를 모델링하는데 효과적이지만 cost가 높다...
Paper 2021. 4. 28. [논문] Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks origin paper: https://arxiv.org/pdf/2005.11401.pdf reference:ai.facebook.com/blog/retrieval-augmented-generation-streamlining-the-creation-of-intelligent-natural-language-processing-models Overview 문맥 정보를 반영하는 고정된 임배딩 모델 pre-trained neural retriever(Bert)과 seq2seq transformer(Bart)를 결합하여, task specific task에서 더 좋은 성능을 보이는 모델 RAG를 제안 Model 모델은 크게 retriever과 generator로 나뉜다. retriever retriever은 우선..
ML & DL 2021. 4. 23. Hugging Face 기초 😇 트랜스포머가 대세가 된 요즘 소스 코드에서 허깅 페이스의 transformer 모듈을 자주 보게 된다. 파이토치도 텐서 플로우도 아닌 허깅 페이스는 무엇인지 어떻게 동작하는지 간단히 정리한다. 공식문서가 아주 잘되어 있다. huggingface.co/transformers/index.html Transformers State-of-the-art Natural Language Processing for Pytorch and TensorFlow 2.0. 🤗 Transformers (formerly known as pytorch-transformers and pytorch-pretrained-be... huggingface.co Hugging Face 허깅페이스는 트랜스포머를 기반으로 하는 다양한 모델(tra..

티스토리툴바