[논문 초록💚] Attention is All you Need

abstract

 

The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that 
include an encoder and a decoder.  The best performing models also connect the encoder and decoder through an attention mechanism. 
지배적인 시퀀스 변환 모델(dominant sequence transduction models)은 encoder 및 decoder를 포함하는
복잡한 순환 신경망 또는 컨볼루션 신경망을 기반으로 한다. 
최고의 성능을 자랑하는 모델들은 어텐션 메커니즘(attention mechanism)을 통해 encoder와 decoder를 연결한다.  

 

We propose a new simple network architecture, the Transformer,
based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. 
새로운 단순한 네트워크 아키텍처인 트랜스포머(Transformer)를 제안합니다. 
트랜스포머는 어텐션 메커니즘(attention mechanism)에만 기반을 두고, 재발(recurrence)과 컨볼루션(convolution)을 전적으로 분배합니다. 

 

Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train. 
두 가지 기계 번역 과제를 대상으로 실험한 결과, 트랜스포머 모델은 품질이 우수함과 동시에 병렬 처리성이 높아져 학습에 훨씬 적은 시간이 소요되는 것으로 나타났어요. 

 

Our model achieves 28.4 BLEU on the WMT 2014 Englishto-German translation task, improving over the existing best results, including ensembles, by over 2 BLEU.
저희 모델은 WMT 2014 영어-독일어 번역 작업에서 28.4 BLEU를 달성하여 앙상블을 포함한 기존 최고의 결과보다 2 BLEU 이상 향상되었습니다.

 

On the WMT 2014 English-to-French translation task, our model establishes a new single-model state-of-the-art BLEU score of 41.0 after training for 3.5 days on eight GPUs, a small fraction of the training costs of the best models from the literature.

WMT 2014 영어-프랑스어 번역 작업에서 저희 모델은 문헌에서 나온 최고의 모델의 교육 비용의 작은 부분인 8개의 GPU에서 3.5일 동안 교육한 후 41.0의 새로운 단일 모델 최첨단 BLEU 점수를 확립했습니다.