標題:利用認知模型衡量人類與 GPT-4 生成文本的主觀相似性
作者:Tyler Malloy, Maria José Ferreira, Fei Fang, Cleotilde Gonzalez
單位:卡內基美隆大學
年份:2024
本研究旨在探討如何利用認知模型來衡量人類和大型語言模型 (LLM) 生成文本之間的主觀相似性,並提出一個名為基於實例的個性化相似性 (IBIS) 的新方法。
研究人員首先建立了一個包含人類對電子郵件進行網路釣魚與否分類的數據集,並使用不同的相似性度量方法,包括語義相似性、餘弦相似性、加權餘弦相似性、嵌入剪枝和集成相似性,來計算電子郵件之間的相似性。接著,他們開發了一個基於實例學習 (IBL) 的認知模型,並將其與 LLM 嵌入相結合,以預測人類對未見過電子郵件的判斷,從而得出 IBIS 度量。
IBIS 提供了一種更精確、更個性化的文本相似性度量方法,有助於改善教育和推薦系統等應用。
本研究為理解人類如何感知文本相似性提供了新的見解,並為開發更有效的個性化學習工具奠定了基礎。
他の言語に翻訳
原文コンテンツから
arxiv.org
深掘り質問