本論文では、注意メカニズムの重要な構成要素である注意行列の効率的な近似に焦点を当てている。
まず、2つのプロキシを定義する:
これらのプロキシに対する回帰問題を効率的に解くアルゴリズムを提案する。
具体的には以下の2つの回帰問題を扱う:
これらの問題は、行列指数関数の近似に必要な部分問題となる。
さらに、AA⊤の要素ごとの指数関数を用いた注意カーネル回帰問題も扱う:
min_x ∥exp(AA⊤)x - b∥_2
提案アルゴリズムは、スケッチングと前処理を用いて高速に解くことができる。これらの取り組みは、注意行列の効率的な近似を研究する新しい視点を提供する。
他の言語に翻訳
原文コンテンツから
arxiv.org
深掘り質問