核心概念
入力凸関数性とリプシッツ連続性を組み合わせることで、計算効率と非対抗的ロバスト性を同時に実現する新しいニューラルネットワークアーキテクチャを提案する。
要約
本論文では、入力凸関数性とリプシッツ連続性を組み合わせた新しいニューラルネットワークアーキテクチャ「入力凸関数リプシッツRNN (ICLRNN)」を提案している。
背景
実世界の工学アプリケーションでは、計算効率と非対抗的ロバスト性が重要
従来のニューラルネットワークは、これらの要件を同時に満たすことが困難
入力凸関数性は計算効率を高め、リプシッツ制約は非対抗的ロバスト性を向上させる
ICLRNN
入力凸関数性とリプシッツ連続性を両立させた新しいRNNアーキテクチャ
重みを非負値に制限し、活性化関数を凸関数かつリプシッツ連続に制限
理論的に入力凸関数性とリプシッツ連続性を証明
評価
太陽光発電の短期予測と化学反応器の最適制御の2つの工学タスクで評価
従来手法と比較して、計算効率と非対抗的ロバスト性が大幅に向上
限界と今後の課題
極端に長い系列データの学習には課題がある
分類タスクよりも回帰タスクに適している
統計
太陽光発電の短期予測では、従来手法と比較してICLRNNの計算量(FLOPs)が最も少ない
化学反応器の最適制御では、ICLRNNベースのLMPCが最も早く収束する
引用
"入力凸関数性は計算効率を高め、リプシッツ制約は非対抗的ロバスト性を向上させる"
"ICLRNNは理論的に入力凸関数性とリプシッツ連続性を両立させている"