圖神經網路預訓練模型是強大的異常檢測器：何時以及為何有效？

核心概念

在圖異常檢測（GAD）任務中，預訓練圖神經網路模型，即使使用簡單的骨幹網路，也能表現出強大的性能，尤其是在圖稀疏和標註數據有限的情況下，預訓練模型在檢測傳統端到端模型難以識別的「遠距離」異常方面展現出優勢。

摘要

圖神經網路預訓練模型是強大的異常檢測器：何時以及為何有效？

這篇研究論文探討了預訓練圖神經網路（GNN）模型在圖異常檢測（GAD）任務中的有效性。

系統分析預訓練在圖異常檢測中的有效性，探討「何時」以及「為何」預訓練圖神經網路模型在異常檢測中有效。

在多個真實世界數據集上進行實驗，比較預訓練模型與多種領先的端到端學習模型的性能。
分析圖稀疏性對預訓練模型性能的影響。
提出「k跳可達比」指標，量化標註異常節點信息傳播到未標註節點的可行性。
分析預訓練模型在檢測不同跳數鄰域內異常節點的性能差異。
探討負採樣和標註異常節點數量對預訓練模型性能的影響。
評估預訓練模型在圖級別異常檢測任務中的潛力。

從以下內容提煉的關鍵洞見

Graph Pre-Training Models Are Strong Anomaly Detectors

by Jiashun Chen... 於 arxiv.org 10-25-2024

https://arxiv.org/pdf/2410.18487.pdf

深入探究

如何將預訓練圖神經網路模型應用於動態圖的異常檢測？

將預訓練圖神經網路模型應用於動態圖的異常檢測是一個值得深入研究的課題，以下是一些可行的思路：

動態圖的表徵學習： 動態圖的關鍵挑戰在於如何有效地捕捉時間資訊。可以採用以下方法將動態圖轉換為適合預訓練的格式：

時間切片（Time slicing）： 將動態圖按照時間順序分割成一系列靜態圖快照，然後將這些快照輸入預訓練模型。
時間感知嵌入（Time-aware embedding）： 使用時間感知的圖神經網路模型，例如TGAT、TGCN等，將時間資訊編碼到節點嵌入中。

預訓練目標的設計： 針對動態圖的特性，設計更有效的預訓練目標：

鏈路預測： 預測未來時間點可能出現的邊，捕捉動態圖中的演化模式。
時間鄰近性： 設計預訓練目標，使得在時間上相近的節點具有更相似的嵌入。

遷移學習策略：

微調（Fine-tuning）： 使用動態圖中的少量標註數據對預訓練模型進行微調，使其適應特定的異常檢測任務。
特徵遷移（Feature transfer）： 將預訓練模型學習到的節點嵌入作為特徵，輸入到專門設計的動態圖異常檢測模型中。

如果圖的稀疏性非常高，以至於預訓練模型的性能提升有限，那麼還有哪些其他方法可以提高圖異常檢測的性能？

當圖的稀疏性極高時，僅僅依靠預訓練模型可能無法充分發揮其作用，此時可以考慮以下方法來提高圖異常檢測的性能：

圖增強技術（Graph Augmentation）： 通過對圖數據進行增強，例如添加虛擬邊、節點或子圖，可以增加圖的密度，提高模型的泛化能力。

基於結構的增強： 根據節點相似性或結構特徵添加新的邊。
基於特徵的增強： 利用節點特徵生成新的節點或邊。

多模態資訊融合（Multi-modal Information Fusion）： 如果除了圖結構資訊外，還有其他類型的數據可用，例如節點屬性、文本描述等，可以將這些多模態資訊融合到異常檢測模型中，彌補圖結構資訊不足的缺陷。
異常檢測算法的改進： 針對高稀疏圖的特點，設計更有效的異常檢測算法：

基於社群的異常檢測： 利用高稀疏圖中社群結構明顯的特點，將異常檢測問題轉化為社群內部的異常點識別。
基於子圖的異常檢測： 將高稀疏圖分解成若干個子圖，在子圖層面進行異常檢測，降低問題的複雜度。

半監督學習和主動學習（Semi-supervised Learning and Active Learning）： 利用少量標註數據和大量未標註數據，訓練更魯棒的異常檢測模型。主動學習可以幫助選擇最有價值的未標註數據進行標註，提高標註效率。

預訓練圖神經網路模型在其他領域（例如，自然語言處理、計算機視覺）的成功經驗是否可以借鑒到圖異常檢測中？

預訓練圖神經網路模型在自然語言處理和計算機視覺領域的成功經驗，為圖異常檢測提供了寶貴的借鑒：

自監督學習目標的設計： 自然語言處理中的詞嵌入預訓練模型，例如Word2Vec、BERT等，採用了自監督學習目標，例如掩碼語言模型（MLM）、下一句預測（NSP）等，從大量未標註文本數據中學習通用的語言表徵。這些自監督學習目標的設計思路可以借鑒到圖異常檢測中，例如設計基於圖結構的預測任務，從未標註圖數據中學習通用的圖表徵。
遷移學習策略的應用： 計算機視覺中的圖像分類預訓練模型，例如ResNet、VGG等，通常在ImageNet等大型數據集上進行預訓練，然後將學習到的模型參數遷移到其他圖像分類任務中。這種遷移學習策略可以應用於圖異常檢測，例如將預訓練的圖神經網路模型遷移到特定領域的圖異常檢測任務中，提高模型的泛化能力。
多模態預訓練模型的探索： 近年來，多模態預訓練模型，例如CLIP、DALL-E等，在圖像和文本的聯合表徵學習方面取得了顯著進展。這些多模態預訓練模型的設計思路可以借鑒到圖異常檢測中，例如將圖結構資訊與其他模態資訊（例如節點屬性、文本描述等）進行聯合預訓練，學習更豐富的圖表徵。

總之，預訓練圖神經網路模型在其他領域的成功經驗為圖異常檢測提供了重要的借鑒，但也需要根據圖數據的特點和異常檢測任務的需求進行適當的調整和改進。