スケッチベースの画像検索のための双方向プロンプティング

スケッチベースの画像検索(SBIR)では、手描きのスケッチと対応する写真を関連付けることが目的である。本研究では、未知のカテゴリに対する精細な検索を可能にするため、双方向プロンプティング戦略を提案する。具体的には、ターゲットカテゴリの画像とテキストラベルを利用して、モデルにカテゴリ固有の洞察を与え、ターゲットカテゴリに適応させることで、精細な検索精度を向上させる。