核心概念
ユーザーの行動履歴にはランダムなノイズが含まれており、これが推薦モデルの最適化を妨げている。そこで、統計情報を活用したプリトレーニングを行うことで、ランダムなノイズの影響を軽減し、より安定した推薦モデルを構築することができる。
摘要
本研究では、ユーザーの行動履歴にはランダムなノイズが含まれており、これが推薦モデルの最適化を妨げていることを指摘している。そのため、統計情報を活用したプリトレーニングフレームワーク(STDP)を提案している。
具体的には以下の3つのプリトレーニングタスクを設計している:
- 共起アイテム予測(CIP): モデルに、次のアイテムとその共起アイテムを同時に予測させることで、ランダムな単一のターゲットに集中するのではなく、複数の適切なターゲットに注意を向けさせる。
- ペアシーケンス類似性(PSS): 元のシーケンスの一部のアイテムを共起アイテムに置き換えたペアシーケンスを生成し、元のシーケンスとペアシーケンスの表現の類似性を最大化することで、ランダムなノイズに対するモデルの頑健性を高める。
- 頻出属性予測(FAP): シーケンス全体の頻出属性を予測させることで、ユーザーの長期的な嗜好を捉えることができる。
これらのプリトレーニングタスクを組み合わせて学習することで、ランダムなノイズの影響を軽減し、より安定した推薦モデルを構築できることを示している。
统计
ユーザーの行動履歴にはランダムなノイズが含まれている
ランダムなノイズはモデルの最適化を妨げる
引用
"ユーザーがランダムに複数の候補から1つのアイテムを選択したり、複数のアイテムをランダムな順序でアクセスしたりすることで、シーケンスは安定した高品質の信号を提供できなくなる。"
"ランダムなノイズは避けられないため、本研究では、より安定した情報を活用してモデルの最適化プロセスをロバスト化することに取り組む。"