ここに日本語で質問を出力

質問1

質問2

質問3


ここに日本語でトピックを出力


topic


ここに日本語でコアメッセージを出力


coremsg

Exploring the Factual Consistency in Dialogue Comprehension of Large  Language Models

### ここに日本語で質問を出力

Answer: 
### 質問1
回答1

### 質問2
回答2

### 質問3
回答3

対話理解の事実整合性を効率的に処理・分析するよう求められています。以下のガイドラインに従って、CONTENTを処理し、レスポンスをマークダウン形式で出力します。すべての回答を日本語で出力します。

1. タイトルを情報的で正直なものに書き換えて、重要な情報を隠さないようにする。
2. コンテンツが属する分野または分野を5語以内で決定する。カンマは使用しない。
3. コンテンツの主な焦点を正確に反映する具体的なトピックを割り当てる。トピックは簡潔なラベルとし、さまざまな記事やコンテンツにわたって同様のコンテンツを追跡できるようにする。
4. コアメッセージ
- 記事のコアメッセージと根本的な意図に焦点を当てる。
- 著者が伝えようとする主要な概念や主要なアイデアを簡潔な文で「coremsg」にまとめる。「この記事のコアメッセージは...」や「著者は主張する...」などと始めないでください。主要なアイデアを直接出力してください。
5. 「note」でコンテンツの情報提供的な要約を提供する。
- コンテンツの元の構造とフローを維持する。
- コンテンツをセグメント化する。各セグメントから、キーハイライトと洞察を抽出してリストアップする。
- noteは包括的で詳細であり、オリジナルのコンテンツを参照する必要がないように立ち上がる。
- 要約は首尾一貫しており、オリジナルの著者の視点と声を保持することを確認してください。個人的なコメンタリーに変換しないでください。
6. データ抽出
- 「data_sheet」セクションで、著者の主要な論理を支持するために使用されている重要な指標や数値を含む文を特定してリストアップする。日本語で。
- 各文は別の行に記載する。
- ない場合は進む。
7. 引用:
- 「quotes」で、著者の主要な論理を支持する印象的な引用を捉える。各引用は別の行に記載する。
- ない場合は進む。
8. 質問と批判的思考:
- 「further_questions」の下に、ユーザーの理解を深め、より深い分析を促すための3つの質問を提示する。番号付けや箇条書きはせずに、単独の文として書式設定する。各質問は新しい行に記載する。
- 1つは記事の議論を拡張するもの。
- 1つは記事の見解に対する反論。
- 1つは記事の内容とは無関係に見えるが深く関連する刺激的な質問。

マークダウン形式で出力し、追加の挨拶は行いません。以下のテンプレートを使用し、英語で指定された正確なレベル3のタイトルを使用してください。

```markdown
### title_rewrite
日本語で書き換えたタイトルを出力
### category
ここに日本語でカテゴリーを出力
### topic
ここに日本語でトピックを出力
### coremsg
ここに日本語でコアメッセージを出力
### note
ここに日本語で独立した注記を出力
### data_sheet
ここに日本語で統計を出力
### quotes
ここに日本語で引用を出力
### further_questions
ここに日本語で質問を出力
```

CONTENT のタイトル:
---大規模言語モデルの対話理解における事実整合性の探索---

分析するCONTENT:
---Content starts---
Exploring the Factual Consistency in Dialogue Comprehension of Large
Language Models
Shuaijie She , Shujian Huang∗, Xingyun Wang , Yanke Zhou, Jiajun Chen
National Key Laboratory for Novel Software Technology, Nanjing University
shesj@smail.nju.edu.cn, huangsj@nju.edu.cn
{wangxingyun,zhouyk}@smail.nju.edu.cn, chenjj@nju.edu.cn
Abstract
LLMs (Large Language Models) usually in-
teract with users in the form of dialogue and
generate responses following their instructions,
which naturally require dialogue comprehen-
sion abilities. However, dialogue comprehen-
sion is a general language ability which is hard
to be evaluated directly. In this work, we pro-
pose to perform the evaluation focusing on the
factual consistency issue with the help of the
dialogue summarization task. Besides evaluat-
ing and analyzing the dialogue summarization
performance (DIAC-Sum) of different LLMs,
we also derive factual questions from the gen-
erated summaries and use them as a more flex-
ible measurement of dialogue comprehension
(DIAC-FactQA). Our evaluation shows that, on
average, 26.8% of the summaries generated
by LLMs contain factual inconsistency. Even
ChatGPT, the strongest model evaluated, has
such errors in 16% of its summaries. For an-
swering the factual questions, which is more
challenging, the average error rate of all eval-
uated LLMs is 36.1%. Both results indicate
serious deficiencies. Detailed analysis shows
that the understanding of subject/object of the
conversation is still challenging for LLMs. Fur-
thermore, to stimulate and enhance the dialogue
comprehension ability of LLMs, we propose
a fine-tuning paradigm with auto-constructed
multi-task data, which achieved a relative error
rate reduction of 11% on DIAC-FactQA.1
1
Introduction
With the development of large language models
(LLMs), such as GPT-3 (Brown et al., 2020),
OPT (Zhang et al., 2022), LLaMA (Touvron et al.,
2023a), etc., it has becoming a promising way to
interact with users through conversations, where
LLMs generate responses following users' instruc-
tions in the dialogue. This form of conversational
∗Corresponding author
communication naturally requires high dialogue
comprehension ability to capture the factual in-
formation, which has becoming a prerequisite for
successfully completing tasks in the conversation.
Previous studies have evaluated the dialogue
comprehension ability of relatively small language
models using dialogue question answering (QA)
data, e.g., DREAM(Sun et al., 2019) and Friend-
sQA(Yang and Choi, 2019). However, the ques-
tions in these data come from either human exams
or random sampling of the dialogue content, neither
of which targets on the DIAlogue Comprehension
(DIAC) ability of LLMs.
To fill this gap, we propose to perform the evalu-
ation with the help of the dialogue summarization
task (DIAC-Sum), since summarization extracts
important information from the dialogue which
naturally requires a correct understanding of the
dialogue. The summaries generated by 5 popular
LLMs are collected and manually evaluated for
factual consistency. The results are reported as an
empirical study of the current situation.
More importantly, we derive a set of factual ques-
tions from the factual inconsistencies in the gen-
erated summaries (DIAC-FactQA), which corre-
sponds to the difficult parts of understanding these
dialogues. By answering these questions, the di-
alogue comprehension ability of LLMs could be
evaluated in a more flexible and precise way. Please
note that the resulting dataset could be used for
evaluating the dialogue comprehension ability of
other LLMs in the future, without any more human
annotation.
Our evaluation results show that existing LLMs
still have serious deficiencies in conversational un-
derstanding. On average, 26.8% of the summaries
generated by LLMs contain factual inconsisten-
cies. Even the summaries generated by ChatGPT,
the strongest model evaluated, has 16% identified
to be incorrect. Further factual question probing
results shows that the average error rate of all eval-
uated LLMs reaches 36.1%. For the refer-
ence, the error rate of ChatGPT and Vicuna-13B
is 26.2% and 40.5%. Detailed analysis on differ-
ent error categories show that the understanding
of subject-object is one of the most challenging
problem.
We also present attempts to stimulate the di-
alogue comprehension ability by fine-tuning the
model with auto-constructed multi-task data. Ex-
perimental results demonstrate that after fine-
tuning, the model exhibits a better dialogue com-
prehension ability, providing a potential direction
for future work and improvements.

2
Dialogue Comprehension Benchmark
(DIAC)
2.1
Data and Model Preparation
Our evaluation utilized the SAMSum (Gliwa et al.,
2019) dataset, which is composed of messenger-
like conversations together with their summaries.
These conversations cover various topics in real-life
messenger chats, ranging from informal to formal
and showcasing the use of slang words, emoticons,
and typos. This format bears resemblance to the
current interaction between users and LLMs. The
summaries succinctly summarize the overall con-
versation in

日本語で書き換えたタイトルを出力

Exploring the Factual Consistency in Dialogue Comprehension of Large Language Models

Visualize This Page

Generate with Undetectable AI

Translate to Another Language

Scholar Search

Get PDF Summary in Seconds