ヒトの視線から学習するユーザー埋め込みによる個人用注目予測

Core Concepts

画像と対応するユーザー固有の注目マップからユーザー埋め込みを抽出し、個人用注目予測タスクに活用する新しい方法を提案。

Abstract

ユーザー埋め込みは、異なるユーザーの視線行動を対比して学習され、高い識別力を持つことが示された。
モデルは個人用注目マップの予測に効果的であり、未知のユーザーや画像にも適応性があることが示された。
他のアプリケーションでも利用可能な再利用可能な視線行動埋め込みへの展望が提示されている。

Stats

プロジェクトコードは受け入れ後に公開されます。
DeepGazeIIE（DG）：CC 0.736、SIM 0.651、AUC 0.907、NSS 2.170、KLD 0.509
Ground Truth USM：CC 0.813、SIM 0.706、AUC 0.922、NSS 2.405、KLD 0.357

Quotes

"Reusable embeddings of user behaviour have shown significant performance improvements for the personalised saliency prediction task."
"Our findings demonstrate the highly discriminative nature of these embeddings, enabling us to effectively compare individuals based on their distinctive gaze behaviour."

Key Insights Distilled From

Learning User Embeddings from Human Gaze for Personalised Saliency Prediction

by Flor... at arxiv.org 03-21-2024

https://arxiv.org/pdf/2403.13653.pdf

Deeper Inquiries

他のアプリケーションで再利用可能な視線行動埋め込みはどのように活用できますか？

この方法を使用して得られた視線行動埋め込みは、個々のユーザー特性や嗜好を捉えることができます。これにより、様々なタスクやアプリケーションにおいて個別化された情報を活用することが可能です。例えば、注目度予測モデルでは、ユーザーごとの注意力を考慮したパーソナライズドな結果を提供することができます。また、推薦システムでは、ユーザーの視線行動を理解することで興味深いコンテンツや商品を強調表示することが可能です。さらに、ビデオ要約や画像キャプショニングなどのタスクでも正確な個人向け注目度予測が役立ちます。