ترجمة ملف PDF أونلاين مع الحفاظ الكامل على التنسيق

The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best-performing models also connect the encoder and decoder through an attention mechanism [1].

We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train [2].

Scaled dot-product attention is defined as:

where dₖ is the dimensionality of the key vectors; the scaling factor 1/√dₖ is used to prevent the softmax from entering regions where gradients are extremely small at high dimensions.

Our model achieves 28.4 BLEU on the WMT 2014 English-to-German translation task, improving over the existing best results by over 2 BLEU [3].

Experiments show that multi-head attention, compared to single-head, attends to information from different representation subspaces at different positions — particularly effective for modeling long-range dependencies.

تستند النماذج السائدة في تحويل التسلسلات إلى شبكات عصبية تكرارية أو التفافية معقدة تتضمن مشفراً وفكّاً للتشفير. كما تربط أفضل النماذج أداءً بين المشفر وفك التشفير عبر آلية انتباه [1].

نقترح بنية شبكة جديدة وبسيطة تُعرف بـ Transformer، تقوم كلياً على آليات الانتباه مع التخلي التام عن التكرار والالتفاف. تُظهر تجارب على مهمتين للترجمة الآلية تفوق هذه النماذج في الجودة مع قابلية أعلى للتوازي واستغراقها وقتاً أقل بكثير في التدريب [2].

يُعرَّف انتباه الضرب النقطي المُعيَّر (scaled dot-product attention) على النحو الآتي:

حيث dₖ هو أبعاد متجهات المفتاح؛ يُستخدم عامل القياس 1/√dₖ لمنع softmax من الدخول في مناطق تكون فيها التدرجات صغيرة للغاية عند الأبعاد العالية.

يحقق نموذجنا 28.4 BLEU في مهمة الترجمة من الإنجليزية إلى الألمانية ضمن WMT 2014، متفوقاً على أفضل النتائج الموجودة بأكثر من 2 BLEU [3].

تُظهر التجارب أن الانتباه متعدد الرؤوس، مقارنةً بالرأس الواحد، يلتفت إلى معلومات من فضاءات جزئية تمثيلية مختلفة في مواضع متباينة — وهو أمر فعّال بشكل خاص في نمذجة التبعيات بعيدة المدى.