AMRグラフを利用して、一貫性のある要約から事実不整合な要約を生成することで、要約の事実整合性を評価するための高品質なデータを作成する。
要約の事実整合性を評価するための新しい手法であるSBERTScoreを提案する。SBERTScoreは、事前学習された汎用的なセンテンス埋め込みを使用して、要約とソース文書の間の文レベルの類似性を計算する。これは、単語レベルの類似性を使用するBERTScoreよりも優れた性能を示し、最新のNLIやQAベースの手法と競争できる。
