Traducir PDF a 136 idiomas sin perder el formato

The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best-performing models also connect the encoder and decoder through an attention mechanism [1].

We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train [2].

Scaled dot-product attention is defined as:

where dₖ is the dimensionality of the key vectors; the scaling factor 1/√dₖ is used to prevent the softmax from entering regions where gradients are extremely small at high dimensions.

Our model achieves 28.4 BLEU on the WMT 2014 English-to-German translation task, improving over the existing best results by over 2 BLEU [3].

Experiments show that multi-head attention, compared to single-head, attends to information from different representation subspaces at different positions — particularly effective for modeling long-range dependencies.

Los modelos dominantes de transducción de secuencias se basan en redes neuronales recurrentes o convolucionales complejas que incluyen un codificador y un decodificador. Los modelos de mayor rendimiento también conectan el codificador y el decodificador mediante un mecanismo de atención [1].

Proponemos una nueva arquitectura de red simple, el Transformer, basada exclusivamente en mecanismos de atención, prescindiendo por completo de la recurrencia y las convoluciones. Los experimentos en dos tareas de traducción automática muestran que estos modelos son superiores en calidad, más paralelizables y requieren significativamente menos tiempo de entrenamiento [2].

La atención de producto escalar escalada (scaled dot-product attention) se define como:

donde dₖ es la dimensionalidad de los vectores clave; el factor de escala 1/√dₖ se utiliza para evitar que softmax entre en regiones donde los gradientes son extremadamente pequeños en dimensiones altas.

Nuestro modelo alcanza 28.4 BLEU en la tarea de traducción inglés-alemán de WMT 2014, mejorando los mejores resultados existentes en más de 2 BLEU [3].

Los experimentos muestran que la atención multi-cabeza, en comparación con la de un solo cabezal, atiende a información de diferentes subespacios de representación en distintas posiciones — particularmente eficaz para modelar dependencias de largo alcance.