本研究では、グラフトランスフォーマーの注意機構を大幅に効率化した「AnchorGT」を提案している。
グラフトランスフォーマーは従来のグラフニューラルネットワーク(GNN)の限界を克服し、優れた性能と表現力を示しているが、自己注意機構の計算量が二次的であるため、スケーラビリティが課題となっていた。これまでの対策は、受容野を制限したり線形注意機構を適用したりするものの、グローバルな受容野の喪失や構造表現力の低下といった問題があった。
AnchorGTでは、構造的に重要なk-ドミネーティングセットをアンカーノードとして利用し、アンカーノードとの関係に着目した注意機構を設計することで、計算量をほぼ線形オーダーに抑えつつ、グローバルな受容野を維持できる。さらに、理論的にはこのアンカーベースの注意機構がWeisfeiler-Lehman検定よりも強い表現力を持つことを証明している。
実験では、3つの最先端のグラフトランスフォーマーモデルにAnchorGTを適用し、同等の性能を維持しつつ、大幅な効率化を実現できることを示している。メモリ消費量は60%削減、訓練時間も10-30%短縮されており、AnchorGTがグラフトランスフォーマーのスケーラビリティを大幅に改善できることが分かる。
Na inny język
z treści źródłowej
arxiv.org
Głębsze pytania