勾配降下法の確率的凸最適化における標本複雑性

勾配降下法の一般化誤差は、最適なハイパーパラメータを選択した場合、次のように表される: ˜Θ(d/m + 1/√m) ここで、dは次元数、mは標本サイズである。これは、最悪ケースの経験リスク最小化手法の標本複雑性と一致する。つまり、他のアルゴリズムと比べて、勾配降下法には経験リスク最小化手法に対する利点はない。