視覚プログラム蒸留 - ビジョン言語モデルへの推論能力の蒸留

核心概念

ビジョン言語モデルの推論能力を向上させるため、大規模言語モデルが生成したプログラムと視覚ツールの能力を蒸留する手法を提案する。

要約

本研究では、Visual Program Distillation (VPD)と呼ばれる新しい手法を提案している。VPDは、大規模言語モデル(LLM)が生成したプログラムと視覚ツールの能力を組み合わせ、ビジョン言語モデル(VLM)の推論能力を向上させる。

具体的には以下の4つのステップから成る:

1. プログラム生成と検証: LLMを使ってプログラムを生成し、正解するプログラムを選別する。
2. プログラム実行: 選別したプログラムを視覚ツールで実行し、推論過程を記録する。
3. プログラム実行過程の自然言語への変換: プログラムの実行過程を自然言語の推論ステップに変換する。
4. 段階的蒸留: 生成したデータを使ってVLMをファインチューニングする。

この手法により、VLMの視覚推論能力が大幅に向上し、複雑な視覚タスクでSOTAを達成した。特に、数え上げ、空間推論、複合推論などの能力が向上した。また、人間評価でも、VPD版のモデルは推論の一貫性と正確性が高いことが示された。

さらに、ラベルなしデータでも良好な性能を発揮し、ヘイトフルミームの検出タスクでSOTAを達成した。

統計

視覚プログラムの成功率は、トップ1プログラムでは43-63%だったが、トップ5プログラムを使うと68-88%まで向上した。
VPD版のPaLI-X-VPDモデルは、視覚プログラムよりも8-20ポイント高い精度を達成した。

引用

"Solving complex visual tasks such as "Who invented the musical instrument on the right?" involves a composition of skills: understanding space, recognizing instruments, and also retrieving prior knowledge."
"Recent work shows promise by decomposing such tasks using a large language model (LLM) into an executable program that invokes specialized vision models. However, generated programs are error-prone: they omit necessary steps, include spurious ones, and are unable to recover when the specialized models give incorrect outputs."

抽出されたキーインサイト

Visual Program Distillation

by Yushi Hu,Oti... 場所 arxiv.org 04-08-2024

https://arxiv.org/pdf/2312.03052.pdf

深掘り質問

VPDはどのようにして、視覚プログラムの欠点を克服しているのか?

Visual Program Distillation（VPD）は、視覚プログラムの欠点を克服するためにいくつかの方法を採用しています。まず、VPDは大規模言語モデル（LLM）を使用して複数の候補プログラムを生成し、それらを実行して正しいプログラムを特定します。これにより、誤った回答を出力するプログラムを回避し、正しいプログラムを選択することができます。さらに、VPDは正しいプログラムを自然言語のChain-of-Thought（CoT）に変換し、VLMにその推論能力を注入することで、視覚プログラムの誤りを修正し、VLMの性能を向上させています。このようにして、VPDは視覚プログラムの誤りや欠点を克服し、VLMの能力を向上させています。

VPDで使用されている視覚ツールの種類や性能を向上させることで、VLMの能力をさらに高められるだろうか?

VPDで使用されている視覚ツールの種類や性能を向上させることは、VLMの能力をさらに高める可能性があります。視覚ツールの性能向上により、VLMはより正確な視覚情報を取得し、より複雑な視覚タスクを処理できるようになります。例えば、オブジェクト検出や深度推定などの視覚ツールの性能向上により、VLMはより正確な情報を取得し、より高度な視覚タスクを実行できるようになるでしょう。したがって、VPDで使用されている視覚ツールの種類や性能を向上させることは、VLMの能力をさらに高める一因となる可能性があります。

VPDの手法は、他のマルチモーダルタスク（音声理解など）にも応用できるだろうか?

VPDの手法は、他のマルチモーダルタスクにも応用可能です。VPDのアプローチは、視覚プログラムの生成とVLMの訓練を組み合わせたものであり、異なるモーダリティ間での複雑な推論能力を向上させるための一般的なフレームワークとして機能します。この手法は、視覚情報と言語情報を統合して複雑なタスクを解決するための柔軟性を提供し、音声理解などの他のマルチモーダルタスクにも適用できる可能性があります。将来的には、VPDの手法を他のマルチモーダルタスクに適用し、異なるモーダリティ間での高度な推論能力を向上させることが期待されます。