AI araştırma makalesi çevirici — denklemleri kaybetmeden herhangi bir makaleyi kendi dilinizde okuyun.

The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best-performing models also connect the encoder and decoder through an attention mechanism [1].

We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train [2].

Scaled dot-product attention is defined as:

where dₖ is the dimensionality of the key vectors; the scaling factor 1/√dₖ is used to prevent the softmax from entering regions where gradients are extremely small at high dimensions.

Our model achieves 28.4 BLEU on the WMT 2014 English-to-German translation task, improving over the existing best results by over 2 BLEU [3].

Experiments show that multi-head attention, compared to single-head, attends to information from different representation subspaces at different positions — particularly effective for modeling long-range dependencies.

Baskın dizi dönüşüm modelleri, bir kodlayıcı ve çözücü içeren karmaşık yinelemeli veya evrişimli sinir ağlarına dayanmaktadır. En iyi performans gösteren modeller aynı zamanda kodlayıcı ve çözücüyü bir dikkat mekanizması aracılığıyla birbirine bağlamaktadır [1].

Yalnızca dikkat mekanizmalarına dayanan ve yinelemeli ile evrişimli yapıları tamamen ortadan kaldıran yeni ve basit bir ağ mimarisi olan Transformer'ı öneriyoruz. İki makine çevirisi görevindeki deneyler, bu modellerin kalite açısından üstün olduğunu, daha fazla paralelleştirilebildiğini ve eğitim için önemli ölçüde daha az zaman gerektirdiğini göstermektedir [2].

Ölçeklendirilmiş nokta çarpımı dikkat (scaled dot-product attention) şu şekilde tanımlanır:

burada dₖ anahtar vektörlerinin boyutsallığıdır; 1/√dₖ ölçeklendirme faktörü, yüksek boyutlarda softmax'ın gradyanların son derece küçük olduğu bölgelere girmesini önlemek için kullanılır.

Modelimiz WMT 2014 İngilizce-Almanca çeviri görevinde 28.4 BLEU elde etmekte ve mevcut en iyi sonuçları 2 BLEU'dan fazla iyileştirmektedir [3].

Deneyler, çok başlı dikkatin tek başlıya kıyasla farklı konumlardaki farklı temsil alt uzaylarından bilgilere odaklandığını göstermektedir — bu, uzun menzilli bağımlılıkların modellenmesinde özellikle etkilidir.