本論文では、浅層ReLUニューラルネットワークを用いた最小二乗問題を解くための新しい構造ガイド型ガウス・ニュートン法を提案する。この手法は、最小二乗の構造とニューラルネットワークの構造の両方を効果的に活用する。線形パラメータと非線形パラメータを分類し、それぞれに適した手法を用いて交互に更新することで、高速かつ正確な収束を実現する。
決定木学習問題をマルコフ決定過程として定式化し、効率的な探索アルゴリズムを提案する。提案手法は、最適な決定木を高速に見つけるだけでなく、複雑さと性能のトレードオフを持つ複数の決定木を返すことができる。
本論文では、パラメータに依存せずに最適な収束率を達成する加速ストochastic最適化手法を提案する。この手法は、既存の手法と比べて問題パラメータに関する事前知識を必要としない。