本研究は、大規模言語モデル(LLM)を活用したマルチモーダル検索エンジンの可能性を包括的に評価するための「MMSEARCH」ベンチマークを提案している。
MMSEARCH-ENGINEパイプラインを開発し、LLMに対して3つの個別タスク(リクエリ、リランク、要約)と1つのエンドツーエンドタスクを通じて検索性能を評価する。ベンチマークには、ニュースと専門知識の2つの領域から合計300の問題が含まれており、LLMの既存知識と重複しないことを確認している。
実験の結果、現行のLLMはリクエリとリランクの能力が不足しており、これが検索性能の制限要因となっていることが明らかになった。一方で、閉鎖系LLMは開放系LLMに比べてこれらの能力が優れていることが示された。また、テスト時の計算量を増やすことで、モデルサイズを大きくするよりも検索性能の向上が期待できることが示唆された。
今後、MMSEARCH ベンチマークを活用し、LLMのマルチモーダル検索能力の向上に向けた研究開発が期待される。
다른 언어로
소스 콘텐츠 기반
arxiv.org
더 깊은 질문