本論文では、ニューラルタンジェントカーネル(NTK)を用いて、観測ノイズを考慮した上で、ニューラルネットワークの出力の事後分布の平均と共分散を効率的に推定する手法を提案している。
まず、十分な学習時間を経た場合、正則化された平均二乗誤差損失関数を最小化することで、観測ノイズを持つNTK-GPの事後平均を計算できることを示した。この際、ターゲットの平均が0になるように変換することで、より簡潔な表式が得られる。
次に、事後共分散の推定手法を提案した。これは、NTK-GPの事後共分散の表式を部分特異値分解を用いて近似的に計算するものである。具体的には、ジャコビアン行列の一部の特異値と特異ベクトルを勾配降下法で求め、それらを用いて事後共分散を推定する。
提案手法は、標準的な学習パイプラインに統合できるという利点がある。また、合成回帰問題での実験により、提案手法が不確実性を適切に捉えられることを示した。
本研究は、NTK-GPの枠組みを観測ノイズのある場合に拡張し、効率的な不確実性推定手法を提供するものである。これにより、ベイズ最適化などの応用において有用な知見が得られると期待される。
다른 언어로
소스 콘텐츠 기반
arxiv.org
더 깊은 질문