圖神經網路 (GNN) 真正學到了什麼？探討其表徵的理解

Kernekoncepter

儘管圖神經網路 (GNN) 在圖表徵學習領域取得了顯著的成功，但對於這些模型學習到的節點表徵中究竟編碼了哪些結構信息仍不清楚。本文通過研究四種標準 GNN 模型學習到的節點表徵來解決這一問題，發現某些模型會為所有節點生成相同的表徵，而其他模型學習到的表徵則與從節點開始的特定長度路徑的概念相關聯。

Resumé

研究背景
圖神經網路 (GNN) 在圖表徵學習領域取得了巨大成功，但對於這些模型學習到的節點表徵中究竟編碼了哪些結構信息仍不清楚。
研究方法
本文研究了四種標準 GNN 模型（GCN、DGCNN、GAT 和 GIN）學習到的節點表徵，以理解它們捕獲的圖結構特性。
研究發現

DGCNN 和 GAT 模型將所有節點嵌入到相同的向量中，沒有編碼圖的結構信息。
GCN 模型學習到的節點表徵與從節點開始的標準化路徑總和相關。
GIN-0 模型學習到的節點表徵捕獲了從節點開始的路徑數量。
即使結構不同的節點也可能在某些層獲得相似的甚至相同的表徵。
初始節點特徵會影響學習到的表徵，特別是當特徵指向相同方向時。
過度壓縮現象的產生是由於從一個節點到另一個節點的路徑數量與源自前者的總路徑數量相比 непропорционально 小。
研究結論
本文的研究結果揭示了 GNN 模型學習到的節點表徵的特性，並為理解 GNN 模型的行為提供了新的視角。
研究意義

理解 GNN 模型學習到的表徵類型。
評估 GNN 模型對圖結構擾動的穩定性。
從新的角度理解過度壓縮現象。
研究局限與未來方向

僅關注四種標準 GNN 模型，未來可以研究更複雜的模型。
僅考慮節點特徵指向相同方向的情況，未來可以研究更一般的特徵情況。
需要探索解決過度壓縮問題的新方法。

Statistik

在 IMDB-BINARY 和 ENZYMES 圖分類數據集上訓練 GIN-0 和 GCN 模型。
計算從不同節點開始的路徑數量（或標準化路徑總和）的歐幾里德距離。
計算模型第三層生成的節點表徵的歐幾里德距離。
計算兩組歐幾里德距離之間的相關性。
使用不同的特徵值（例如 2、11 等）在合成數據集上訓練 GIN-0 模型。
計算模型在測試集上的平均準確率，作為從節點 v 和 v' 發出的加權路徑總和之差的函數。
計算模型在測試集上的平均準確率，作為 GIN 模型隱藏維度大小的函數。

Vigtigste indsigter udtrukket fra

What Do GNNs Actually Learn? Towards Understanding their Representations

by Giannis Niko... kl. arxiv.org 11-25-2024

https://arxiv.org/pdf/2304.10851.pdf

Dybere Forespørgsler

除了文中提到的四種模型，其他類型的 GNN 模型是否也存在類似的表徵學習特性？

是的，除了文中提到的 GCN、GIN、GAT 和 DGCNN，其他類型的 GNN 模型也可能存在類似的表徵學習特性，特別是基於訊息傳遞機制的模型。

訊息傳遞與結構資訊： 大多數訊息傳遞神經網路 (MPNN) 依賴於鄰居節點資訊的聚合來更新節點表徵。這種訊息傳遞機制本質上是在學習圖中的結構資訊，例如 walks。 即使模型的具體設計不同，如果它們的核心仍然是訊息傳遞，那麼它們很可能也會在一定程度上捕捉到與 walks 相關的資訊。

其他模型的例子： 例如， GraphSAGE [1] 使用鄰居節點特徵的平均值或 LSTM 聚合來更新節點表徵，這與 GCN 和 GIN 中使用的聚合方法類似，因此也可能表現出與 walks 相關的表徵學習特性。

超越 walks 的限制： 然而，也有一些 GNN 模型嘗試克服僅僅學習 walks 資訊的限制。例如，一些模型引入了注意力機制 [2]，根據節點特徵和邊緣特徵為不同的鄰居節點分配不同的權重，從而學習更複雜的結構資訊。
總之，雖然其他 GNN 模型可能在細節上有所不同，但基於訊息傳遞的模型很可能在一定程度上學習到與 walks 相關的資訊。 未來需要更多研究來深入理解不同 GNN 模型的表徵學習特性，特別是那些超越 walks 限制的模型。

如果初始節點特徵不指向相同方向，如何分析 GNN 模型的表徵學習能力？

當初始節點特徵不指向相同方向時，分析 GNN 模型的表徵學習能力變得更加複雜，因為我們不能再簡單地使用 walks 的加權和來描述節點表徵。以下是一些可能的研究方向：

高階特徵交互作用： 當節點特徵不指向相同方向時，它們之間可能存在更複雜的交互作用，而這些交互作用會影響 GNN 模型的表徵學習。例如，某些特徵組合可能表示特定的圖形模式，而 GNN 模型需要學習識別這些模式。
基於特徵空間的分析： 可以嘗試分析 GNN 模型如何將節點特徵映射到隱藏空間，並研究隱藏空間中的幾何特性。例如，可以研究不同類別節點在隱藏空間中的分佈情況，或者分析 GNN 模型是否能夠有效地分離不同類別的節點。
引入新的理論工具： 現有的基於 walks 的理論工具可能不足以分析具有任意初始節點特徵的 GNN 模型。需要開發新的理論工具來描述和分析 GNN 模型在這種情況下的表徵學習能力。
實驗分析： 可以設計實驗來研究 GNN 模型在不同初始節點特徵設定下的性能表現。例如，可以比較 GNN 模型在使用指向相同方向的特徵和使用不指向相同方向的特徵時的分類準確率，或者分析 GNN 模型在不同特徵空間中的泛化能力。
總之，分析具有任意初始節點特徵的 GNN 模型的表徵學習能力是一個具有挑戰性的問題，需要新的理論工具和實驗方法來解決。

除了增加隱藏維度大小，還有哪些方法可以有效解決 GNN 模型中的过度壓縮問題？

过度壓縮問題是 GNN 模型面臨的一個重要挑戰，僅僅增加隱藏維度大小並不能完全解決這個問題。以下是一些其他的解決方案：

跳躍連接 (Skip connections)： 類似於 ResNet 在電腦視覺領域的應用，在 GNN 模型中引入跳躍連接可以讓資訊更直接地在不同層之間傳播，減少資訊壓縮。 例如，可以將每一層的輸入直接加到該層的輸出上，或者使用更複雜的跳躍連接結構。
多尺度訊息傳遞： 可以設計 GNN 模型，使其能夠在不同的尺度上進行訊息傳遞。例如，可以使用不同大小的卷積核來捕捉不同範圍的鄰居節點資訊，或者使用多層級的聚合方法來整合不同層級的圖形結構資訊。
基於注意力機制的訊息聚合： 注意力機制可以讓 GNN 模型更有效地選擇和聚合來自鄰居節點的資訊，從而減少資訊壓縮。 例如， GAT 模型 [2] 使用注意力機制為不同的鄰居節點分配不同的權重，從而更好地捕捉節點之間的關係。
圖形結構增強： 可以通過增強圖形結構來改善 GNN 模型的資訊傳播。例如，可以向圖形中添加新的邊緣來連接距離較遠的節點，或者使用圖形粗化技術來簡化圖形結構，減少資訊壓縮。
正則化技術： 可以設計新的正則化技術來鼓勵 GNN 模型學習更分散的節點表徵，從而減少資訊壓縮。例如，可以對節點表徵的熵進行正則化，或者使用對抗訓練方法來鼓勵 GNN 模型學習更具區分性的節點表徵。
總之，解決 GNN 模型中的过度壓縮問題需要多方面的努力，包括模型架構設計、訓練方法和圖形結構分析等。
[1] Hamilton, W. L., Ying, Z., & Leskovec, J. (2017). Inductive representation learning on large graphs. Advances in neural information processing systems, 30.
[2] Veličković, P., Cucurull, G., Casanova, A., Romero, A., Lio, P., & Bengio, Y. (2018). Graph attention networks. arXiv preprint arXiv:1710.10903.