本論文は、高次元線形回帰問題において、反復アルゴリズムを用いて得られる各ステップの反復ベクトルの性能を評価する方法を提案している。
具体的には以下の3点が主な貢献である:
反復ベクトルの一般化誤差を推定する信頼性の高い推定量を導出した。この推定量は、過去の反復ベクトルの重み付き平均誤差平方和の形をとり、アルゴリズムに依存した重み付けを用いる。
上記の一般化誤差推定量を用いて、反復の過程で最小の一般化誤差を達成する最適な停止時点を選択する方法を提案した。これにより、早期停止による正則化効果を活用できる。
各反復ベクトルに基づいて、真の係数ベクトルの成分に対する漸近的に正規分布に従う信頼区間を構築する方法を示した。これにより、収束に至らなくても、各反復ステージで統計的推測が可能となる。
理論的な結果は、勾配降下法、加速勾配法、ISTA、FISTAなど、広範な反復アルゴリズムに適用可能である。シミュレーション実験により、提案手法の有効性が確認されている。
לשפה אחרת
מתוכן המקור
arxiv.org
תובנות מפתח מזוקקות מ:
by Pierre C. Be... ב- arxiv.org 04-30-2024
https://arxiv.org/pdf/2404.17856.pdfשאלות מעמיקות