Tłumacz artykułów naukowych AI — czytaj dowolny artykuł w swoim języku bez utraty równań.

The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best-performing models also connect the encoder and decoder through an attention mechanism [1].

We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train [2].

Scaled dot-product attention is defined as:

where dₖ is the dimensionality of the key vectors; the scaling factor 1/√dₖ is used to prevent the softmax from entering regions where gradients are extremely small at high dimensions.

Our model achieves 28.4 BLEU on the WMT 2014 English-to-German translation task, improving over the existing best results by over 2 BLEU [3].

Experiments show that multi-head attention, compared to single-head, attends to information from different representation subspaces at different positions — particularly effective for modeling long-range dependencies.

Dominujące modele transdukcji sekwencji oparte są na złożonych rekurencyjnych lub splotowych sieciach neuronowych zawierających enkoder i dekoder. Najlepiej działające modele łączą również enkoder z dekoderem za pomocą mechanizmu uwagi [1].

Proponujemy nową, prostą architekturę sieci — Transformer — opartą wyłącznie na mechanizmach uwagi, całkowicie rezygnującą z rekurencji i splotów. Eksperymenty na dwóch zadaniach tłumaczenia maszynowego wykazują wyższość tych modeli pod względem jakości, lepszą możliwość zrównoleglenia oraz znacznie krótszy czas trenowania [2].

Skalowana uwaga iloczynu skalarnego (scaled dot-product attention) jest zdefiniowana jako:

gdzie dₖ oznacza wymiarowość wektorów kluczy; czynnik skalujący 1/√dₖ służy zapobieganiu wejściu funkcji softmax w obszary, gdzie gradienty są ekstremalnie małe przy wysokich wymiarach.

Nasz model osiąga 28.4 BLEU w zadaniu tłumaczenia angielsko-niemieckiego WMT 2014, poprawiając istniejące najlepsze wyniki o ponad 2 BLEU [3].

Eksperymenty pokazują, że uwaga wielogłowicowa, w porównaniu z jednogłowicową, skupia się na informacjach z różnych podprzestrzeni reprezentacji na różnych pozycjach — jest to szczególnie skuteczne w modelowaniu zależności dalekiego zasięgu.