本稿では、多様なシーンに適応できるロバストな画像超解像モデルを実現するため、動的畳み込みを用いたヘテロジニアスパラレルネットワーク構造を持つADSRNetを提案する。
この論文では、従来の領域非依存の変動空間よりも大きく、かつ同等の近似レートを維持する、新しい領域依存のモデルクラスである「重み付き変動空間」を導入することで、浅いReLUネットワークによる関数近似の改善された結果を示しています。
本稿では、グラフニューラルネットワーク(GNN)のデータポイズニングおよびバックドア攻撃に対する証明可能な堅牢性を達成する初のフレームワークを提案する。これは、GNNの学習ダイナミクスを捉えるニューラルタンジェントカーネル(NTK)と、ポイズニングを混合整数線形計画問題として再定式化する新しい手法に基づいている。
ニューラルネットワークにおけるアンバランスな層ごとの初期化は、従来の知見に反し、特徴量学習を加速させ、汎化性能向上に寄与する可能性がある。
小パラメータを含む偏微分方程式を解くための、2スケールニューラルネットワークと呼ばれる新しい手法が提案されています。
本稿では、純粋メッセージパッシングを用いることで、従来のグラフニューラルネットワーク(GNN)では困難であったリンク予測における共通隣接構造の効率的な推定が可能になることを示し、新たなリンク予測モデルMPLPを提案する。
本稿では、ニューラルネットワークのトレーニングと推論におけるメモリフットプリントと計算コストを削減するため、テンソルタッカーフォーマットにおける因子分解層の形状認識トレーニングという新しいアプローチを提案する。
ハード制約を満たすことを保証しつつ、従来のニューラルネットワークの表現力を維持する、HardNetと呼ばれる新しいフレームワークを提案する。
動的損失関数を用いることで、ニューラルネットワークの学習中に損失関数の地形を動的に変化させることができ、これにより学習の改善、特に小さなネットワークにおける汎化性能の向上が見られる。
従来のニューラルネットワークが抱えていた系統的な汎化、破滅的な忘却、少数ショット学習、多段階推論といった課題は、メタ学習を用いた学習方法によって克服できる可能性がある。