Core Concepts
ChebMixerは、MLP Mixerを使用した効率的なグラフ表現学習を提供します。
Abstract
グラフニューラルネットワークは、グラフ表現学習において優れた成果を収めており、特に最近のグラフTransformerはさまざまなグラフマイニングタスクで優れた性能を示しています。
ChebMixerは、高速Chebyshev多項式スペクトルフィルタリングを使用して、グラフノードのマルチスケール表現を抽出し、各ノードをトークンのシーケンスとして扱い、効果的なMLP Mixerで異なるホップ情報を強化します。
モデルのパフォーマンス向上にK-hop mixerモジュールが重要であり、特徴の更新が必要です。
K-hop aggregatorモジュールは異なるチャンネルごとに異なる情報を持つ重み付けされた集約重みを学習することでより多くの情報を提供します。
多項式オーダーKの影響では、Kが小さい場合は性能が大幅に向上し、増加すると性能が安定しつつ徐々に向上することが示されています。
ChebMixerはNAGphormerよりも計算効率が高く、ほぼすべてのデータセットで優れた結果を示しています。
Stats
グラフニューラルネットワークはほぼすべてのタスクで最先端のパフォーマンスを達成している(Cora, Citeseer, Pubmed)。
ChebMixerは他の手法よりも優れた結果を示しました(Computers, Photo, CoauthorCS, ogbn-arxiv)。
Quotes
"Graph neural networks have achieved remarkable success in learning graph representations."
"ChebMixer addresses the challenge of quadratic complexity regarding the number of nodes during self-attention computation."