本文提出了一種名為 GenBaB 的通用框架,利用分支定界法驗證具有一般非線性函數的神經網路,並透過預先優化分支點和新的分支啟發式演算法來提升驗證效率。
本文核心論點為,在µP與其深度擴展的參數化下,神經網路損失格局的某些特性(特別是最尖銳的動態)在不同模型大小下保持一致,這種現象被稱為「超級一致性」,而超級一致性解釋了學習率遷移現象。
神經崩塌現象(Neural Collapse,NC)在標準訓練的神經網路中並不穩定且易受對抗性擾動的影響,但在對抗訓練的網路中,乾淨和擾動物件的表徵會形成對齊的單純結構,顯示出對抗性擾動的穩健性,而TRADES訓練則不會出現神經崩塌。
本文提出了一種新的框架,用於理解物理系統與學習系統之間的關係,特別是漢米爾頓系統和基於神經網路的學習系統之間的對偶性,並探討了如何利用神經網路的激活和學習動態來模擬場論,例如克萊因-戈登場和狄拉克場。
當索引向量彼此正交時,使用梯度流學習高斯多索引模型可以在多項式時間內實現,並且只需輕微的過參數化;然而,當索引向量過於接近時,梯度流可能會失敗。
本文探討了使用最小寬度神經網路實現通用逼近的最新進展,特別關注於Leaky ReLU激活函數的網路架構。
本文提出了一種名為潛在程式網路(LPN)的新演算法,透過學習一個連續的潛在程式空間,並利用梯度優化方法在該空間中搜索最佳程式表示,從而實現高效的程式歸納和測試時適應能力。
本文深入分析了監督機制對隨機配置網路 (SCN) 學習效能的影響,並提出了一種基於遞迴 Moore-Penrose 逆矩陣的新型監督機制,以提高 SCN 的學習效率和可擴展性。
本文提出了一種混合方法,透過使用本體論和答案集程式設計 (ASP) 將領域專家知識嵌入到深度學習 (DL) 模型的訓練過程中,從而提高模型的性能和可信度。
本文提出了一種基於神經網路驗證的電力系統暫態穩定預防控制方法,利用 α, β-CROWN 算法驗證控制策略的穩健性,並透過調整暫態穩定邊界以確保系統在可再生能源與負載波動下的安全性和經濟性。