本論文は、高次グラフトランスフォーマーの理論的表現力と設計空間について系統的に研究している。
主な内容は以下の通り:
自然な定義の高次グラフトランスフォーマーAkを導入し、Akは単独では k-WLテストよりも表現力が低いことを示した。一方、k-タプルのインデックス情報を入力に加えると、Akはk-WLと同等以上の表現力を持つことを示した。
効率性と表現力のバランスを取るため、近傍情報に基づいた疎なアテンション機構を提案した。特に、近傍アテンションANgbh
kは計算量が大幅に削減されつつ、k-WLと同等の表現力を持つことを示した。
局所近傍アテンションALN
kや仮想タプルアテンションAVT
kなど、他の疎なアテンション機構についても理論的な分析を行った。
簡単な多面体複合体に基づくアテンション機構についても検討し、その理論的性質を分析した。
合成データセットと実世界データセットでの実験結果を示し、提案手法の有効性を確認した。
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Cai Zhou,Ros... a las arxiv.org 04-05-2024
https://arxiv.org/pdf/2404.03380.pdfConsultas más profundas