核心概念
本文提出了一種基於多目標線性集成的方法,可以同時訓練出強健和稀疏的少位元神經網路。
摘要
本文提出了一種新的方法來改善二值神經網路(BNN)和整數神經網路(INN)的訓練。主要貢獻包括:
- 提出了一種基於多目標函數的MILP模型,按字典順序包含了現有的單目標步驟。
- 實現了一個由多個神經網路組成的集成,每個網路專注於特定的分類任務。
- 提出了一種啟發式的投票方案,靈感來自於One-Versus-One(OVO)策略,專門針對構建的神經網路集成。
實驗結果顯示,BeMi集成方法可以使用多達40個每類的訓練數據,得益於OVO策略導致更小的MILP模型。在MNIST和Fashion-MNIST數據集上,平均準確率分別達到81.8%和70.7%。此外,由於多目標函數最小化了連接數,最多可以移除75%的權重(MNIST)和48%(Fashion-MNIST)。我們還在心臟病數據集上進行了實驗,平均準確率達到78.5%。
統計資料
在MNIST數據集上,使用10個每類的訓練圖像可以達到68.4%的平均準確率,使用40個每類的訓練圖像可以達到81.8%的平均準確率。
在MNIST數據集上,最多可以移除75.3%的神經網路連接。
在Fashion-MNIST數據集上,最多可以移除48%的神經網路連接。
引述
"在MNIST數據集上,平均準確率達到81.8%,在Fashion-MNIST數據集上達到70.7%,同時移除了高達75.3%的權重(MNIST)和48%(Fashion-MNIST)。"
"我們還在心臟病數據集上進行了實驗,平均準確率達到78.5%。"