Core Concepts
リッジ正則化の最適化レベルは、訓練分布と検証分布の間のコバリアンスと信号構造の整合性によって決まる。分布シフトが存在する場合、最適な正則化レベルは負の値になることがある。
Abstract
本論文では、分布外予測のための最適なリッジ正則化の振る舞いを分析している。以下の主な知見が得られた:
分布外予測のための一般的なリッジリスクの非対称極限を導出した。これは、訓練分布と検証分布の間の任意の分布シフトを許容し、負の正則化範囲も考慮している。
コバリアンスシフトと回帰シフトの下で、最適なリッジ正則化レベルの符号を決定する一般的な条件を特定した。これらの条件は、訓練データと検証データの間の信号とコバリアンス構造の整合性を捉えている。
最適にチューニングされたリッジリスクが、データアスペクト比と信号雑音比に関して単調増加することを示した。さらに、最適化以外の正則化では、リスクが非単調になる可能性があることも示した。
Stats
訓練データと検証データの間の信号雑音比の差は、最適な正則化レベルの符号を決定する重要な要因である。
Quotes
「最適な正則化レベルは、訓練分布と検証分布の間のコバリアンスと信号構造の整合性によって決まる」
「分布シフトが存在する場合、最適な正則化レベルは負の値になることがある」