Công cụ dịch bài báo nghiên cứu AI — đọc bất kỳ bài báo nào bằng ngôn ngữ của bạn mà không mất phương trình.

The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best-performing models also connect the encoder and decoder through an attention mechanism [1].

We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train [2].

Scaled dot-product attention is defined as:

where dₖ is the dimensionality of the key vectors; the scaling factor 1/√dₖ is used to prevent the softmax from entering regions where gradients are extremely small at high dimensions.

Our model achieves 28.4 BLEU on the WMT 2014 English-to-German translation task, improving over the existing best results by over 2 BLEU [3].

Experiments show that multi-head attention, compared to single-head, attends to information from different representation subspaces at different positions — particularly effective for modeling long-range dependencies.

Các mô hình chuyển đổi chuỗi chiếm ưu thế dựa trên các mạng nơ-ron hồi tiếp hoặc tích chập phức tạp bao gồm một bộ mã hóa và một bộ giải mã. Các mô hình hoạt động tốt nhất cũng kết nối bộ mã hóa và bộ giải mã thông qua một cơ chế chú ý [1].

Chúng tôi đề xuất một kiến trúc mạng đơn giản mới, Transformer, dựa hoàn toàn vào các cơ chế chú ý, loại bỏ hoàn toàn tính hồi tiếp và tích chập. Các thí nghiệm trên hai nhiệm vụ dịch máy cho thấy các mô hình này vượt trội về chất lượng, có khả năng song song hóa cao hơn và cần ít thời gian huấn luyện hơn đáng kể [2].

Chú ý tích vô hướng có tỷ lệ (scaled dot-product attention) được định nghĩa là:

trong đó dₖ là số chiều của các vectơ khóa; hệ số tỷ lệ 1/√dₖ được sử dụng để ngăn softmax rơi vào các vùng mà gradient cực kỳ nhỏ ở số chiều cao.

Mô hình của chúng tôi đạt 28.4 BLEU trên nhiệm vụ dịch tiếng Anh sang tiếng Đức WMT 2014, cải thiện kết quả tốt nhất hiện có hơn 2 BLEU [3].

Các thí nghiệm cho thấy chú ý đa đầu, so với đơn đầu, chú ý đến thông tin từ các không gian con biểu diễn khác nhau ở các vị trí khác nhau — đặc biệt hiệu quả để mô hình hóa các phụ thuộc tầm xa.