核心概念
チャート解析の信頼性を高めるために、1つの補助トークンを導入し、数値部分の予測精度を向上させる。
要約
本研究では、OneChartと呼ばれる新しいチャート情報抽出モデルを提案している。OneChartは、自己回帰型の主要部分と、数値部分の予測精度を高めるための補助トークンおよび追加デコーダから構成される。
具体的には以下の特徴がある:
- 補助トークン「」を入力の先頭に置くことで、数値部分の特徴抽出を強化する。これにより、数値の正確な予測が可能になる。
- 補助デコーダを用いて数値部分の予測を行い、その結果と元の出力との整合性を評価することで、出力の信頼性を判断できる。
- 多様なチャートデータを用いて事前学習と微調整を行うことで、幅広いチャートスタイルに対応可能。
- 既存のベンチマークに加え、新たに「ChartY」ベンチマークを構築し、より包括的な評価を行った。
実験の結果、OneChartは従来手法と比べて構造抽出の精度が大幅に向上し、特に数値アノテーションのないチャートの抽出精度が19.1%から29.4%改善された。また、OneChartとLLaVAモデルを組み合わせることで、ChartQAベンチマークの正答率が32.6%向上した。
統計
チャート画像の数値部分を正確に抽出することで、従来手法と比べて19.1%から29.4%の精度向上が得られた。
OneChartとLLaVAモデルを組み合わせることで、ChartQAベンチマークの正答率が32.6%向上した。
引用
"チャート解析の信頼性を高めるために、1つの補助トークンを導入し、数値部分の予測精度を向上させる。"
"OneChartは従来手法と比べて構造抽出の精度が大幅に向上し、特に数値アノテーションのないチャートの抽出精度が19.1%から29.4%改善された。"
"OneChartとLLaVAモデルを組み合わせることで、ChartQAベンチマークの正答率が32.6%向上した。"