Centrala begrepp
本文提出了一種新穎的框架 LLM-GCE,利用大型語言模型 (LLM) 的推理能力和領域知識來生成更真實、更易於理解的圖反事實解釋,以提高圖神經網路 (GNN) 在分子特性預測方面的透明度和可靠性。
論文概述
本研究論文提出了一種名為 LLM-GCE 的新方法,旨在利用大型語言模型 (LLM) 來解釋圖神經網路 (GNN) 在分子特性預測方面的決策過程。
研究背景
GNN 在分子特性預測方面展現出強大的能力,然而,GNN 的黑盒特性使得難以理解其預測背後的依據。圖反事實解釋 (GCE) 作為一種新興方法,試圖通過識別輸入圖的最小修改來提高 GNN 的透明度,從而使 GNN 產生不同的預測結果。然而,現有的 GCE 方法通常缺乏領域知識,導致生成的解釋難以被人類理解。
研究方法
LLM-GCE 框架由三個主要模組組成:
文本編碼器的對比預訓練: 利用對比學習方法預訓練文本編碼器,使其嵌入與 GNN 的嵌入保持一致。
反事實自動編碼器的訓練: 設計了一個由預訓練文本編碼器和圖解碼器組成的反事實自動編碼器,用於根據 LLM 提供的文本對和反事實文本對生成反事實圖拓撲。
CTP 生成過程中的動態反饋: 設計了一個 CTP 動態反饋模組,通過將生成的結果反饋給 LLM 來減輕 LLM 產生幻覺的可能性,從而提高反事實解釋的準確性。
實驗結果
在五個真實世界分子數據集上進行的實驗表明,LLM-GCE 在生成化學上可行的反事實解釋方面優於現有方法。具體而言,LLM-GCE 生成的反事實解釋不僅有效地改變了 GNN 的預測結果,而且與原始輸入圖的圖距離最小,同時滿足化學鍵合理性。
研究貢獻
本研究的主要貢獻包括:
數據集構建: 收集了五個分子數據集的 LLM 生成的文本對,為該領域的研究提供了寶貴的資源。
演算法設計: 提出了一種新穎的 LLM-GCE 框架,該框架利用 LLM 的推理能力來指導 GCE,從而生成更真實、更易於理解的反事實解釋。
實驗評估: 在多個真實世界數據集上進行了廣泛的實驗,驗證了 LLM 在生成更可行的反事實解釋方面的有效性,並提供了全面的優化軌跡。
研究意義
LLM-GCE 框架為提高 GNN 在分子特性預測方面的透明度和可靠性提供了一種有前景的方法。通過利用 LLM 的強大功能,LLM-GCE 可以生成更真實、更易於理解的反事實解釋,從而促進 GNN 在藥物發現和毒性分析等領域的應用。
Statistik
在五個真實世界分子數據集(AIDS、Mutagenicity、BBBP、ClinTox、Tox21)上進行了實驗。
LLM-GCE 在幾乎所有數據集上都實現了最高的化學可行反事實解釋的有效性。
LLM-GCE 生成的化學可行反事實解釋與原始輸入圖的圖距離最小。
在 BBBP 數據集上,兩個動態 CTP 反饋迭代後,有效性提升達到飽和。
在 BBBP 數據集上,將預訓練迭代次數增加到 100 左右可以提高有效性。