核心概念
神經符號運算 (NeSy) 結合了符號主義和聯結主義的優勢,有望成為下一代人工智慧的關鍵推動力,能夠開發出更強大、可信賴且穩健的人工智慧系統。
本文全面概述了神經符號運算 (NeSy) 的最新發展和重要貢獻,NeSy 旨在整合符號和統計認知範式。
NeSy 的背景
人工智慧 (AI) 長期以來一直由符號主義和聯結主義兩種範式主導。
符號主義認為,代表世界上事物的符號是人類智慧的基本單位,認知過程可以通過一系列規則和邏輯運算對符號表示進行操作來完成。
聯結主義,以其最成功的技術深度神經網路 (DNN) 為代表,是近期大多數成功 AI 系統背後的架構。
NeSy 結合了這兩種範式,旨在利用兩者的優勢,並克服其固有的缺陷。
NeSy 的發展
NeSy 的歷史可以追溯到 1943 年的 McCulloch 和 Pitts,他們將有限自動機(布林邏輯)與人工神經網路建立了緊密聯繫。
NeSy 在 1990 年代開始成為一個正式的研究領域,並在 2000 年代初期獲得了系統性的研究。
在 2010 年代,隨著基於 DNN 的聯結主義技術在各種 AI 任務中取得顯著成功,NeSy 受到的關注相對較少。
然而,隨著 DNN 的缺點變得明顯,NeSy 近年來在研究領域迎來了復興。
NeSy 的分類
本文根據四個維度對 NeSy 方法進行分類:神經符號整合、知識表示、知識嵌入和功能。
神經符號整合:根據符號和神經部分的組合方式,將 NeSy 系統分為六種類型:
類型 1:符號神經符號(也稱為具有符號輸入/輸出的神經網路)
類型 2:符號 [神經](也稱為神經子程式)
類型 3:神經 | 符號(也稱為神經學習 + 符號求解器)
類型 4:神經:符號 → 神經(也稱為符號編譯為神經拓撲)
類型 5:神經符號(也稱為損失函數中的符號整合)
類型 6:神經 [符號](也稱為神經和符號組件的完全混合)
知識表示:根據知識的表示方式,可以區分系統:
知識圖譜
命題邏輯
一階邏輯
程式語言
符號表達式
知識嵌入:考慮將符號知識整合到神經網路的哪個組件中:
數據預處理
網路訓練
網路架構
最終推理
功能:NeSy 系統是更側重於機器學習還是自動符號推理:
學習
推理
學習和推理
NeSy 的應用
NeSy 在許多應用場景中都表現出其優越性,包括:
視覺關係理解
視覺問答
視覺場景解析
常識推理
NeSy 的未來方向
可擴展性
組成泛化
自動知識獲取
遞迴神經 [符號] 引擎
NeSy 元認知技能的測試平台
大模型時代的 NeSy
總結
NeSy 作為下一代 AI 的推動力,有望整合符號主義和聯結主義的優勢,開發出更強大、可信賴和穩健的 AI 系統。