Core Concepts
大規模言語モデルを活用して、ユーザーが推薦アイテムをシーレンディピティと感じるかを評価する手法を提案し、その有効性を検証する。
Abstract
本研究では、推薦システムにおけるシーレンディピティの評価に大規模言語モデル(LLM)を活用する手法を提案し、その有効性を検証した。
まず、LLMを用いたシーレンディピティ評価手法を提案した。ユーザーの過去の評価履歴と推薦アイテムの情報をプロンプトとしてLLMに入力し、ユーザーがその推薦アイテムをシーレンディピティと感じるかを二値分類する。
次に、ベンチマークデータセットを用いて提案手法の性能評価を行った。その結果、LLMを用いた評価手法はベースライン手法と同等以上の性能を示した。一方で、LLMの評価とユーザーの主観的な評価との一致率は必ずしも高くはなかった。これは、LLMの出力を解釈するのが難しいことが一因と考えられる。
さらに分析を行った結果、ユーザーの評価履歴の長さや、アイテムのジャンル情報の有無がLLMの評価に大きな影響を与えることが分かった。これらの知見は、LLMを用いたシーレンディピティ評価手法の設計に役立つと考えられる。
Stats
ユーザーの過去の評価履歴の長さが10件の場合、LLMの評価とユーザーの主観的な評価の一致率は80%を超えた。
ジャンル情報を含むプロンプトを使用した場合、LLMの評価精度が向上した。
Quotes
「大規模言語モデルを活用して、ユーザーが推薦アイテムをシーレンディピティと感じるかを評価する手法を提案し、その有効性を検証する。」
「LLMを用いたシーレンディピティ評価手法はベースライン手法と同等以上の性能を示したが、LLMの評価とユーザーの主観的な評価との一致率は必ずしも高くはなかった。」
「ユーザーの評価履歴の長さやアイテムのジャンル情報の有無がLLMの評価に大きな影響を与えることが分かった。」