AI21 [논문리뷰]Attention Is All You Need 이번 포스트는 이제는 NLP뿐만 아니라 딥러닝 전반에 유용하게 사용되고 있는 attention에 대해 다뤄보고자 한다. Abstract 주요한 sequence transduction 모델들은 인코더와 디코더를 포함하는 복잡한 RNN이나 CNN에 기반한다. 최고의 성능을 자랑하는 모델들은 attention mechanism을 이용해 인코더와 디코더를 연결한다. 이 논문에서는 recurrnece와 convolutions를 사용하지 않고 attention mechanism에 기반한 새롭고 간단한 모델인 Transformer를 소개한다. 이 모델은 2개의 기계번역 실험에서 더 parallelizable 하고 학습을 위한 시간도 크게 단축하면서 번역의 질은 더 좋은 것을 보인다. 1. Introduction RN.. 2022. 9. 20. [PyTorch]Dataset과 DataLoader 이번 포스트는 PyTorch의 Dataset과 DataLoader에 대해 알아보자. 이에 앞서 이전 포스트에서 텐서의 개념에 대해 먼저 공부하고 오는 것이 도움이 될 것이라 생각한다. [PyTorch]Tensor-part2 이번 포스트는 Tensor-part1에 이어지는 내용을 다루고자 한다. 이전 포스트를 아직 확인하지 못했다면 아래의 링크로 들어가 먼저 보고 오면 더 좋을 것 같다. [PyTorch]Tensor-part1 텐서의 특징 텐서는 dream-be.tistory.com Dataset Dataset은 torch.utils.data.Dataset을 이용하여 PyTorch에서 제공하는 pre-loaded dataset을 불러오는데 사용한다. 이와 더불어 개별 데이터를 처리하는 하위 클래스 함수들로.. 2022. 9. 16. [PyTorch]Tensor-part2 이번 포스트는 Tensor-part1에 이어지는 내용을 다루고자 한다. 이전 포스트를 아직 확인하지 못했다면 아래의 링크로 들어가 먼저 보고 오면 더 좋을 것 같다. [PyTorch]Tensor-part1 텐서의 특징 텐서는 배열과 행렬과 비슷한 자료구조이다. PyTorch에서 텐서를 이용하여 입력과 출력, 그리고 모델의 파라미터를encode 한다. 텐서는 NumPy의 ndarray와 비슷하지만 한 가지 차이점이 있 dream-be.tistory.com 이번에는 텐서의 속성, 텐서 연산에 대해 공부해보자. 텐서의 속성(Attribute) 텐서의 속성은 shape, dtype(데이터 타입), device와 같은 정보를 의미한다. tensor = torch.rand(3,4) print(f'Shape of t.. 2022. 9. 15. [PyTorch]Tensor-part1 텐서의 특징 텐서는 배열과 행렬과 비슷한 자료구조이다. PyTorch에서 텐서를 이용하여 입력과 출력, 그리고 모델의 파라미터를encode 한다. 텐서는 NumPy의 ndarray와 비슷하지만 한 가지 차이점이 있다. 그것은 텐서는 GPU를 활용하여 처리가 가능한 반면, array는 CPU로 만 처리가 가능하다. 이번 포스트에선 텐서 초기화에 대해서 알아보자. 텐서 초기화 (Tensor Initialization) 텐서를 초기화한다는 의미는 텐서를 새로생성하거나 혹은 기존에 있던 객체를 텐서로 객체로 변경하는 것 이라고 생각하면 될것 같다. 1. 직접생성 데이터를 직접적으로 텐서화 시켜 텐서를 생성할 수 있다. 이때 데이터의 타입은 자동으로 유추하여 정해진다. data = [[4,3], [2,1]] x_.. 2022. 9. 14. 이전 1 2 3 4 5 6 다음
