Core Concepts
グラフ変換器は、従来のグラフニューラルネットワークの課題を克服し、優れた性能を示している。構造的および位置的エンコーディングを活用することで、グラフ構造を効果的にモデル化できる。また、グラフ変換器は過剰平滑化や過剰圧縮の問題を軽減できる可能性がある。
Abstract
本論文は、グラフ変換器に関する最新の研究動向をまとめたものである。
理論的特性
グラフ変換器は、適切な構造的および位置的エンコーディングがなければ、グラフの非同型性を識別する能力が標準的なグラフニューラルネットワークよりも低い。
構造的および位置的エンコーディングを活用することで、グラフ変換器は最大限の表現力を持つことができる。
構造的および位置的エンコーディング
構造的エンコーディングはグラフ構造をローカル、相対的、グローバルに表現する。
位置的エンコーディングはノードの相対的な位置関係を表現する。
これらのエンコーディングは、グラフ変換器の理論的特性に大きな影響を与える。
入力特徴量
非幾何学的特徴量と幾何学的特徴量の2種類がある。
幾何学的特徴量を扱うためには、等変換性や不変性を考慮する必要がある。
グラフのトークン化
ノード、ノードとエッジ、サブグラフなどをトークンとして扱う手法がある。
トークン化の方法によって、計算量や表現力が変わる。
メッセージ伝播
全結合型、疎結合型、ハイブリッド型など、様々なアプローチがある。
計算量の削減や局所性の強化が課題となる。
応用例
分子プロパティ予測、脳ネットワーク解析、3D人体姿勢推定など、様々な分野で活用されている。
Stats
グラフの直径は n 個のノードを持つ。
グラフの辺数は m 個である。