Core Concepts
ユーザー固有の情報を直接LLMに注入し、ベイズ最適化に基づく検索戦略を用いることで、LLMのパーソナライゼーションを実現する。
Abstract
本研究では、ユーザーの過去の内容(プロファイル、対話履歴など)を直接LLMに注入し、パーソナライズされた応答生成を実現する新しい手法「MiLP」を提案している。
具体的には以下の通り:
LoRAを用いてユーザー固有の情報をLLMに直接注入する。これにより、従来の手法のようにメモリから情報を検索する必要がなくなる。
注入するメモリの数、注入する層、注入するメモリのサイズなどからなる包括的な検索空間を定義する。
ベイズ最適化に基づく検索手法を用いて、入力クエリに応じて最適なメモリ構成を見つける。
これにより、LLMの自然言語理解と推論能力を活用しつつ、ユーザー固有の情報を効果的に活用できるようになる。
実験の結果、提案手法は既存手法と比べて、ROUGE-Lスコアで平均41.31%、26.96%、36.85%の改善を示し、パーソナライゼーションの観点でも優れた性能を発揮することが確認された。
Stats
ユーザーの過去の内容は平均30.7~182文の長さがあり、応答の平均長は9.1~50.2単語である。