Kernekoncepter
部分σ-代数を用いて、損失関数に関する不確実性の定量化を一般化した。エントロピーと情報は、完全な知識と部分的な知識への不確実性の削減として統一的に扱える。
Resumé
本論文は、情報理論における代表的な概念であるシャノンのエントロピーとシャノン情報を一般化した枠組みを提案している。
具体的には、以下のような内容が示されている:
確率空間上の部分σ-代数を用いて、任意の損失関数に関する不確実性を定義する。これにより、エントロピーは完全な知識への不確実性の削減を、情報は部分的な知識への不確実性の削減を表すことが示された。
平均二乗誤差に対してはバリアンス、対数損失に対してはシャノンのエントロピーと情報が得られることを示した。また、ブレグマン損失に対してはブレグマン情報が得られることを示した。
適切な損失関数(ベイズ最適行動が存在する)の場合、エントロピーと情報は発散関数で表現できることを示した。これは、シャノン情報理論における符号化コストの解釈を一般化したものである。
連続変数の場合、理論的には損失関数と行動空間の選択によってはエントロピーが無限大になることを示した。一方で、情報量は有限値を取ることができることを示した。
全体として、本論文は情報理論の基礎概念を一般化し、様々な損失関数に適用可能な統一的な枠組みを提案したものと言える。
Statistik
平均二乗誤差の場合、H(X) = V(X)、H(X|Y) = E[V(X|Y)]、I(X;Y) = V(E[X|Y])
対数損失の場合、H(X) = ∞、H(X|Y) = ∞、I(X;Y) = E[DKL(PX|Y||PX)]
ハイバリネン損失の場合、H(X) = ∞、H(X|Y) = ∞、I(X;Y) = E[||∇log FX|Y - ∇log fX||^2]