분류 전체보기21 [Pytorch]패키지 기본구성 파이토치를 사용하면서 너무 당연해서 이해가 충분하지 않았던 부분에 대해 정리해보고자 한다. 가장 먼저 패키지들에 대해 정리부터 하고 넘어가자. 1. torch 가장 기본적인 패키지지로 다차원의 텐서를 위한 데이터구조를 포함하고 이러한 텐서들에 대한 수학적인 연산과 관련한 method를 담고 있다. 또 다양한 유틸리티를 포함하고 있다. 크게 Tensors, Creation Ops, Indexing, Slicing, Joining, Mutaing ops 등 다양한 기능의 operation들로 구별할 수 있고 저마다 여러 하위 method들이 있다. 2. torch.nn 신경망을 구성하는 다양한 layer들과 데이터 구조들을 포함한다. CNN, RNN, LSTM과 같은 모델구조 뿐만 아니라 activation.. 2022. 9. 13. [논문리뷰]Generative Adversarial Nets Abstract 이 논문에서는 적대적 과정을 통해 생성 모델을 예측하는 새로운 프레임워크를 소개한다. 이 적대적 과정은 데이터의 분포를 저장하는 생성 모델 $G$와 $G$의 데이터가 아닌 학습 데이터 샘플의 확률을 추정하는 판별 모델 $D$로 구성되어 있다. $G$의 학습 과정은 $D$가 잘못 판별하는 확률을 최대화하는 방향으로 진행한다. 저자는 이 프레임워크가 minimax two-player game 게임이라고 설명한다. 자세한 내용은 본문에서 다시 나온다. 임의의 $G$와 $D$의 공간에서, unique solution이 존재한다. $G$가 학습 데이터를 모방하고 $D$의 판별 확률은 50%가 된다. $G$와 $D$가 MLP로 정의하면, 전체 시스템이 backpropagation(역전파)로 학습할 .. 2022. 9. 13. [논문리뷰]Playing Atari with Deep Reinforcement Learning Abstract 이 논문은 강화 학습을 이용해서 고차원 sensory를 입력으로 받아 성공적으로 control policy를 학습하는 최초의 딥러닝 모델을 소개한다. 모델은 Q-learning으로 학습한 CNN이고 input은 raw pixel이고 output은 미래의 reward를 추정하는 value function이다. 저자는 해당 논문의 방법을 7개의 Atari 2600게임을 Arcade Learning environment에서 적용했다. 결과적으로 6개의 게임에서 이전의 모든 접근법의 결과를 상회하는 성능을 보여주었고 3개의 게임에서는 게임 전문가의 결과 보다 더 나은 결과를 보였다. 1. Introduction vision과 speech와 같은 고차원의 sensory input으로부터 agent.. 2022. 9. 5. [논문리뷰]Word2Vec Abstract 연속형 Skip-gram 모델이 많은 구문적이고 구분적인 문자 관계를 인식하는 고품질 분포 vector representation을 위한 효율적인 method이다. 이 논문은 품질뿐만 아니라 학습 속도를 향상시키는 여러 방법을 소개한다. 자주 나오는 단어를 subsampling 함으로서 굉장한 속도 향상과 더 자주 나오는 단어를 학습한다. 단어 표현에 있어 내재된 한계점은 단어 순서를 고려하지 않는 점과 숙어 구를 표현하지 못하는 점이다. 1. Introduction 단어들의 분산된 표현의 분산은 비슷한 단어를 묶으면서 알고리즘이 NLP task의 성능을 개선하는 데 도움이 된다. 단어 표현(word representation)은 통계적 언어 모델링과 적용되었고 좋은 성능을 보였다. 후속.. 2022. 9. 5. 이전 1 2 3 4 5 6 다음
