핵심 개념
補助分布を用いることで、教師あり学習シナリオにおける新しい一般化誤差の上限を導出することができる。これらの上限は、α-ジェンセン-シャノン情報量やα-レニー情報量を用いて表現できる。また、分布のずれを捉えることもできる。
초록
本研究では、補助分布法(ADM)と呼ばれる新しい手法を提案している。この手法を用いることで、教師あり学習シナリオにおける一般化誤差の新しい上限を導出することができる。
具体的には以下のような結果を示している:
- α-ジェンセン-シャノン情報量を用いた一般化誤差の上限を導出した。この上限は有限となる。
- α-レニー情報量(0 < α < 1)を用いた一般化誤差の上限を導出した。この上限は、決定論的な学習アルゴリズムに対しても有限となる。
- 正則化経験リスク最小化アルゴリズムの超過リスクの上限を、α-レニー情報量やα-ジェンセン-シャノン情報量を用いて導出した。
- 訓練データと検証データの分布のずれを、α-ジェンセン-シャノン情報量やα-レニー情報量を用いて捉えた上で、一般化誤差の上限を導出した。
- 提案した上限が既存の上限よりも tight になる条件を示した。
통계
一般化誤差の上限は、α-ジェンセン-シャノン情報量やα-レニー情報量(0 < α < 1)を用いて表現できる。
決定論的な学習アルゴリズムに対しても、α-レニー情報量(0 < α < 1)を用いた一般化誤差の上限が有限となる。
正則化経験リスク最小化アルゴリズムの超過リスクの上限は、α-レニー情報量やα-ジェンセン-シャノン情報量を用いて表現できる。
訓練データと検証データの分布のずれは、α-ジェンセン-シャノン情報量やα-レニー情報量を用いて捉えられる。
인용구
"補助分布法(ADM)と呼ばれる新しい手法を提案している。この手法を用いることで、教師あり学習シナリオにおける一般化誤差の新しい上限を導出することができる。"
"α-ジェンセン-シャノン情報量を用いた一般化誤差の上限は有限となる。"
"α-レニー情報量(0 < α < 1)を用いた一般化誤差の上限は、決定論的な学習アルゴリズムに対しても有限となる。"