最近の人物対象相互作用(HOI)検出手法は、高い労力コストと包括的な注釈付き画像データセットに依存しています。本論文では、CLIPの適応性を活用し、ラベリングせずにHOIラベルを生成する新しい自己適応言語駆動型HOI検出手法であるFreeAを提案します。具体的には、FreeAは人物-対象ペアの画像特徴とHOIテキストテンプレートを照合し、事前知識ベースのマスク方法を開発して信じられないほどの相互作用を抑制します。さらに、FreeAは提案された相互作用相関マッチング方法を利用して特定のアクションに関連する行動の可能性を高め、生成されたHOIラベルを洗練します。2つのベンチマークデータセットでの実験結果は、FreeAが弱教師付きHOIモデルの中で最高性能を達成していることを示しています。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Yuxiao Wang,... at arxiv.org 03-05-2024
https://arxiv.org/pdf/2403.01840.pdfDeeper Inquiries