Core Concepts
確率的ランキング学習において、勾配ブースティング木の最適化に必要な2次微分(ヘシアン)を効率的に推定する手法を提案した。
Abstract
本研究では、確率的ランキング学習(Stochastic Learning to Rank)における勾配ブースティング木(GBDT)の最適化を可能にするため、ランキング目的関数の2次微分(ヘシアン)を効率的に推定する手法を提案した。
従来の確率的ランキング学習手法は主に微分可能なニューラルネットワークを対象としていたが、GBDTはランキング分野で最先端の手法の1つである。しかし、GBDTの最適化には2次微分が必要であり、これまで確率的ランキング学習では考慮されていなかった。
本研究では、ランキング目的関数の2次微分を表す式を導出し、PL-Rankアルゴリズムを拡張することで、効率的な2次微分の推定手法を提案した。実験の結果、提案手法によりGBDTの性能が大幅に向上し、ニューラルネットワークを上回る結果が得られた。さらに、ニューラルネットワークでは収束が不安定であるのに対し、提案手法のGBDTは安定した収束を示した。
以上より、本研究の2次微分推定手法によって、確率的ランキング学習の分野においてGBDTの活用が可能となり、従来の決定論的ランキング学習との差を大幅に縮めることができた。
Stats
確率的ランキング学習では、ランキング指標の期待値を最大化することが目的である。
ランキング指標の期待値は微分可能であるが、ランキングの決定は非微分的である。
従来の確率的ランキング学習手法はニューラルネットワークを対象としていたが、GBDTはランキング分野の最先端手法の1つである。
GBDTの最適化には2次微分(ヘシアン)が必要だが、これまで確率的ランキング学習では考慮されていなかった。
Quotes
"確率的ランキング学習において、GBDTsを効果的に最適化するためには、2次微分(ヘシアン)を推定する必要がある。"
"提案手法のGBDTは、ニューラルネットワークと比べて安定した収束を示した。"