本論文では、浅層ReLUニューラルネットワークを用いた最小二乗問題を解くための新しい構造ガイド型ガウス・ニュートン法を提案している。
まず、浅層ReLUニューラルネットワークの性質を分析し、ニューロンの線形独立性を示した。これに基づき、最小二乗問題を定式化し、線形パラメータと非線形パラメータに分類した。
提案手法では、線形パラメータは線形ソルバーで、非線形パラメータはダンプ付きガウス・ニュートン法で更新する。特に、非線形パラメータの更新には、浅層ReLUネットワークに特化した新しいガウス・ニュートン行列を導出し、効率的な計算を実現した。
理論的には、提案手法で得られる質量行列とガウス・ニュートン行列が対称正定値となることを示し、追加の技術を必要としないことを明らかにした。
数値実験では、不連続性や急激な遷移を持つ関数近似問題に対して、提案手法が従来手法に比べて高い収束性と精度を示すことを確認した。また、データ科学への応用も検討し、提案手法の有効性を示した。
Til et andet sprog
fra kildeindhold
arxiv.org
Vigtigste indsigter udtrukket fra
by Zhiqiang Cai... kl. arxiv.org 04-09-2024
https://arxiv.org/pdf/2404.05064.pdfDybere Forespørgsler