Kernekoncepter
検索指向型知識(ROK)フレームワークは、サンプルレベルの検索ベースのモデルの推論の非効率性を解決するために提案されている。ROKは、検索と集約の操作を必要とせずに、検索強化表現を効率的に生成することができる。
Resumé
この論文では、クリックスルー率(CTR)予測のための新しいフレームワークであるRetrieval-Oriented Knowledge(ROK)を提案している。CTR予測は、パーソナライズされた推奨システムやウェブ検索などの重要な要素である。
従来のCTRモデルは、特徴量の相互作用や利用者行動のモデル化に焦点を当ててきた。最近では、検索ベースのモデルが注目を集めており、関連するサンプルを検索・集約することで優れた性能を発揮している。しかし、これらのモデルは推論時の非効率性が問題となっていた。
ROKは、この問題を解決するために提案されたフレームワークである。ROKは2つのステージから構成される:
検索指向型知識の構築
事前に検索ベースのモデル(RIMなど)を訓練する
検索・集約の結果を模倣するための知識ベースを設計する
知識蒸留と対比学習を使って知識ベースを最適化する
知識の活用
知識ベースから得られる検索強化表現を、様々なバックボーンCTRモデルに統合する
インスタンスレベルとフィーチャーレベルの2つの方法で統合を行う
実験の結果、ROKは検索ベースのモデルと同等の性能を達成しつつ、推論効率を大幅に改善できることが示された。また、様々なバックボーンモデルとの高い互換性も確認された。これにより、検索ベースのモデルを実用的な水準まで引き上げることができた。
Statistik
検索プールのサイズは百万~十億レベルに及ぶ
ROKは推論時間を𝑂(𝑁log(𝑁))から𝑂(1)に改善できる
Citater
"ROKは、サンプルレベルの検索ベースのメソッドを、これまで産業界では不可能とされていたものを実用的なソリューションに変えるパイオニアとなるフレームワークである。"
"ROKは、検索と集約の操作を必要とせずに、効率的に検索強化表現を生成することができる。"