深層アンサンブルにおける新たな等変性の発生

Core Concepts

深層アンサンブルは、データ拡張を使用することで新たな等変性を示す。

Abstract

深層アンサンブルは、データ拡張を使用して全入力と全訓練時に等変性を示す。個々のアンサンブルメンバーの予測は等変ではないが、集合的な予測は等変である。ニューラル接線カーネル理論を使用してこの結果を導出し、詳細な数値実験で理論的洞察を検証する。無限幅限界において、深層アンサンブルが完全に等変であることを証明し、有限サイズやデータ拡張による偏差の境界も導出する。

Stats

深層アンサンブルは、大きな幅でトレーニングされた場合にすべての段階で等変性がある。
ディープアンサンブルの推定と真値の間にしきい値δ未満の差異がある。
連続対称群Aの近似A ⊂ Gでは、予測が不変性から最大ϵだけ逸脱する。

Quotes

"Deep ensembles are an important tool which can straightforwardly boost the performance and estimate uncertainty of existing models."
"Experiments on several different datasets support our theoretical insights."
"In this work, using the theory of neural tangent kernels, we proved that infinitely wide ensembles show emergent equivariance when trained on augmented data."

Key Insights Distilled From

Emergent Equivariance in Deep Ensembles

by Jan E. Gerke... at arxiv.org 03-06-2024

https://arxiv.org/pdf/2403.03103.pdf

Deeper Inquiries

どのようにして有限幅やアンサンブルサイズが等変性に影響するか？

有限幅のニューラルネットワークでは、理論的な等変性は完全ではなく、確率的揺らぎが生じます。具体的には、無限幅であれば期待される等変性が得られる一方で、有限幅ではその保証が難しくなります。また、アンサンブルサイズも重要であり、少数のメンバーを持つアンサンブルでは正確な等変性を維持することが難しい場合があります。特にデータオフマニフォールド（データ集合外）や初期化時においてはこの影響が顕著です。

連続群への近似誤差がモデルパフォーマンスに与える影響は何か？

連続群への近似誤差は主に不完全なデータ拡張として現れます。連続対称性を持つ問題領域であっても，実際の学習中，厳密な同一視（equivariance）を達成することは困難です．したがって，モデルは通常（近似的に）同一視された振る舞いを示すよう学習します．これにより，最終的な予測精度や汎化能力にわずかな効果を及ぼす可能性があります．

他分野へ応用可能なこの新たな等変性発生理論はどういうものか？

この新しい等変性発生理論は深層アンサンブルモデル内部で自動生成される「エマージェント」（emergent）等価挙動を明らかにします．従来から知られていた厳密または明示的同一視手法と異なり，本理論では個々のメンバーそれ自体では同一視されません．しかし，多数のメンバーから構成されるアンサムブリング予測全体だけが同一視特質を示す点で画期的です．この理論は様々な分野や問題領域でも応用可能であり，既存技術と比較して柔軟さや信頼性向上といった利点を提供します。