Core Concepts
Transformer models can achieve complete length generalization on arithmetic tasks with the right attention biasing.
Abstract
この論文では、Transformerモデルが適切な注意バイアスを持つことで算術タスクにおいて完全な長さの一般化を達成できることが示されています。研究は、通常のトランスフォーマーアーキテクチャと訓練プロセスに焦点を当て、Attention Bias Calibration(ABC)やAttention Bias Scaffolding(ABS)などの手法を導入しています。これらの手法は、特定の算術タスクにおいて非常に優れた結果をもたらし、従来のモデルでは解決困難だった課題(例:Parity)を解決する可能性があります。
Stats
Vanilla TransformerモデルはLint ≤ 6で訓練された場合、Successorタスクでは100%の精度を達成しました。
RoPEとVanilla TransformerはAdditionタスクでほぼ同じ結果を示し、長さが6を超えると精度が急激に低下しました。
Quotes
"Attention is all you need." - Vaswani et al., 2017