日本語文書質問応答データセット(JDocQA)の紹介と分析

Core Concepts

JDocQAは、日本語の文書(スライド、レポート、パンフレット、ウェブサイトなど)に基づいた質問応答タスクのデータセットであり、テキストと視覚情報の両方を活用して質問に答える必要がある。

Abstract

JDocQAデータセットの概要:

5,504の日本語文書(スライド、レポート、パンフレット、ウェブサイト)から構成され、11,600の質問-答え対が収録されている。
4つの質問カテゴリ(Yes/No、事実、数値、オープンエンド)と、文書中に答えがない「回答不可能」な質問が含まれる。
各質問には、答えの根拠となる文書ページや図表の位置情報が付与されている。
実験結果:

大規模言語モデルをファインチューニングすることで、JDocQAタスクの性能が向上した。
回答不可能な質問を含めてモデルを訓練することで、過剰生成(hallucination)の抑制に寄与する可能性がある。
視覚情報を活用するマルチモーダルモデルが、テキストのみのモデルよりも良好な性能を示した。
文書形式(スライド、レポート、パンフレット)によって、モデルの性能に差がある。

Stats

2002年の走行距離は124,344kmです。
イランの2016年の実質GDPと消費者物価指数の推移に影響した全要因は本文中に記載がありません。

Quotes

本文中に記載がありません。

Key Insights Distilled From

JDocQA

by Eri Onami,Sh... at arxiv.org 03-29-2024

https://arxiv.org/pdf/2403.19454.pdf

Deeper Inquiries

문제 1

시각 정보가 문서 이해에 중요하다는 것이 밝혀졌지만, 어떤 종류의 시각 정보가 특히 효과적인지에 대해 더 자세히 분석해야 합니다.

문제 2

답변할 수 없는 질문을 포함하여 모델을 훈련함으로써 과도한 생성을 억제했지만, 이 구체적인 메커니즘에 대해 더 조사해야 합니다.

문제 3

일본어 이외의 언어에서도 유사한 데이터셋을 구축하여 언어 간 비교를 통해 문서 이해에 대한 언어적 특성의 차이를 명확히 할 수 있을 것입니다.