AI 논문 번역기 — 수식을 잃지 않고 모국어로 어떤 논문이든 읽으세요.

The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best-performing models also connect the encoder and decoder through an attention mechanism [1].

We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train [2].

Scaled dot-product attention is defined as:

where dₖ is the dimensionality of the key vectors; the scaling factor 1/√dₖ is used to prevent the softmax from entering regions where gradients are extremely small at high dimensions.

Our model achieves 28.4 BLEU on the WMT 2014 English-to-German translation task, improving over the existing best results by over 2 BLEU [3].

Experiments show that multi-head attention, compared to single-head, attends to information from different representation subspaces at different positions — particularly effective for modeling long-range dependencies.

주류 시퀀스 변환 모델은 인코더와 디코더를 포함하는 복잡한 순환 신경망 또는 합성곱 신경망에 기반한다. 최고 성능 모델은 어텐션 메커니즘을 통해 인코더와 디코더를 연결하기도 한다 [1].

본 논문은 순환과 합성곱을 완전히 배제하고 오직 어텐션 메커니즘만을 기반으로 하는 새로운 단순한 네트워크 아키텍처인 Transformer를 제안한다. 두 가지 기계 번역 과제에서의 실험을 통해 이 모델이 품질 면에서 우월하고 병렬화가 더 용이하며 훈련 시간을 크게 단축시킴을 보인다 [2].

스케일드 닷-프로덕트 어텐션(scaled dot-product attention)은 다음과 같이 정의된다:

여기서 dₖ는 키 벡터의 차원 수이며, 스케일링 인수 1/√dₖ는 고차원에서 softmax가 기울기가 매우 작은 영역에 진입하는 것을 방지하기 위해 사용된다.

제안 모델은 WMT 2014 영독 번역 과제에서 28.4 BLEU를 달성하여 기존 최고 성능을 2 BLEU 이상 개선하였다 [3].

실험 결과, 멀티헤드 어텐션은 단일 헤드에 비해 서로 다른 표현 부분 공간의 다양한 위치 정보에 동시에 집중할 수 있음이 확인되었으며, 이는 장거리 의존 관계 모델링에 특히 효과적이다.