本研究は、自然言語処理分野における「ホーリュシネーション」の定義と概念的枠組みを包括的に調査しています。
まず、103本の査読論文を分析し、自然言語処理分野でのホーリュシネーションの定義と概念的枠組みを明らかにしました。その結果、ホーリュシネーションの定義は多様で一致していないことが分かりました。定義には、生成された文章の流暢性、信憑性、確信度、入力との整合性、非論理性などの要素が含まれていますが、統一された定義はありません。
次に、171名の自然言語処理およびAI研究者を対象にしたアンケート調査を行い、研究者のホーリュシネーションに対する理解と経験を把握しました。調査の結果、ほとんどの研究者がホーリュシネーションを問題視しており、しばしば遭遇していることが明らかになりました。一方で、ホーリュシネーションを創造性の表れと捉える研究者もいることが分かりました。
以上の結果から、自然言語処理分野におけるホーリュシネーションの定義と評価方法の標準化が必要であることが示唆されました。また、ホーリュシネーションの社会的影響を考慮した枠組みの構築も重要であると考えられます。
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Pranav Naray... at arxiv.org 04-12-2024
https://arxiv.org/pdf/2404.07461.pdfDeeper Inquiries