Conceitos Básicos
Facet-based Narrative Similarity (FaNS) metric enhances narrative retrieval by focusing on 5W1H facets for accurate similarity assessment.
Resumo
本記事では、新しい物語類似性メトリックであるFacet-based Narrative Similarity(FaNS)メトリックが提案されています。このメトリックは、物語の類似性を向上させるために5W1Hファセットに焦点を当てています。具体的には、ChatGPTやBardなどの大規模言語モデルを活用して、物語をこれらのファセットに構造化し、各ファセットの類似性を個別に計算し、最終的な類似スコアを提供します。FaNSメトリックは、物語の評価プロセスにおいてより良い制御と結果の説明可能性を提供します。
Estatísticas
FaNSメトリックはROUGEやBERTScoreよりも高い相関(37%↑)を示す。
FaNSメトリックではWhatファセットが最も高い相関を示す。
Citações
"A major challenge for the FaNS metric is accurately extracting the 5W1H facets from two input narratives and performing a facet-wise similarity computation to derive an overall similarity score."
"Our experiments demonstrate that the facet-based narrative similarity metric exhibits a higher correlation (37% ↑) against the ground-truth labels than directly measuring the similarity between narratives through traditional metrics like ROUGE and BERTScore."