ИИ-переводчик научных статей — читайте любую статью на своём языке, не теряя формулы.

The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best-performing models also connect the encoder and decoder through an attention mechanism [1].

We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train [2].

Scaled dot-product attention is defined as:

where dₖ is the dimensionality of the key vectors; the scaling factor 1/√dₖ is used to prevent the softmax from entering regions where gradients are extremely small at high dimensions.

Our model achieves 28.4 BLEU on the WMT 2014 English-to-German translation task, improving over the existing best results by over 2 BLEU [3].

Experiments show that multi-head attention, compared to single-head, attends to information from different representation subspaces at different positions — particularly effective for modeling long-range dependencies.

Доминирующие модели трансдукции последовательностей основаны на сложных рекуррентных или свёрточных нейронных сетях, включающих кодировщик и декодировщик. Наиболее эффективные модели также соединяют кодировщик и декодировщик посредством механизма внимания [1].

Мы предлагаем новую простую сетевую архитектуру — Transformer, основанную исключительно на механизмах внимания и полностью отказывающуюся от рекуррентности и свёрток. Эксперименты на двух задачах машинного перевода показывают, что данные модели превосходят существующие по качеству, лучше поддаются параллелизации и требуют значительно меньше времени на обучение [2].

Масштабированное скалярное внимание (scaled dot-product attention) определяется следующим образом:

где dₖ — размерность векторов ключей; масштабирующий множитель 1/√dₖ используется для предотвращения попадания softmax в области с крайне малыми градиентами при высоких размерностях.

Наша модель достигает 28.4 BLEU на задаче перевода с английского на немецкий в рамках WMT 2014, превосходя лучшие существующие результаты более чем на 2 BLEU [3].

Эксперименты показывают, что многоголовое внимание, в отличие от одноголового, обращает внимание на информацию из различных подпространств представлений на разных позициях — что особенно эффективно для моделирования дальних зависимостей.