Core Concepts
最小問題ソルバーを通したバックプロパゲーションを簡単、高速、安定的に実現する手法を提案する。
Abstract
本論文では、最小問題ソルバーを通したバックプロパゲーションを効率的に行う手法を提案する。
従来の手法では、手動で微分式を導出したり、有限差分を用いたりと、複雑な最小問題ソルバーに対して不安定で遅い手法しかなかった。
本手法では、陰関数定理を用いることで、簡単、高速、安定的にバックプロパゲーションを行うことができる。
具体的には、陰関数定理を直接適用する手法と、PyTorchの Deep Declarative Networks フレームワークを用いる手法の2つを提案する。
前者は高速で安定しているが、後者は実装が簡単である。
実験では、3D点マッチングや画像マッチングのタスクで提案手法の有効性を示す。
提案手法は、従来手法と同等の精度を達成しつつ、100%の安定性と10倍の高速性を実現している。
Stats
3Dマッチングタスクでは、提案手法のIFTは従来手法のSVDと同等の精度を達成した
画像マッチングタスクでは、提案手法のIFTは従来手法と同等のAUC指標を達成した
提案手法のIFTは従来手法に比べて10倍高速であり、100%の安定性を示した
Quotes
"Manual differentiation is laborious and must be done repeatedly for every new problem. Finite differences are approximate and are prone to numerical errors. Using autograd is also limited to relatively simple minimal problem solvers since, for more complex solvers with large templates [25], differentiating the templates becomes unstable due to, e.g., vanishing of the gradients [3]."
"We show that using the Implicit function theorem to calculate derivatives to backpropagate through the solution of a minimal problem solver is simple, fast, and stable."