大型語言模型是好的語用說話者嗎？：一項基於理性言語行為框架的分析

核心概念

大型語言模型 (LLM) 雖然在形式語言能力方面表現出色，但在語用推理方面，特別是作為說話者生成符合語境的語句方面，仍有不足。

摘要

摘要
本文探討了大型語言模型 (LLM) 是否能像人類一樣進行語用推理。作者採用理性言語行為 (RSA) 框架，以參考遊戲的形式，比較了先進的 LLM (Llama3-8B-Instruct) 和 RSA 模型在生成指稱語句時的評分。研究發現，雖然 LLM 的評分與 RSA 模型的評分存在一定的正相關關係，但沒有充分證據表明 LLM 的行為像一個語用說話者。
研究方法
研究人員使用 TUNA 數據集（家具領域）構建了一個參考遊戲，其中包含預定義屬性的物體。他們設計了兩種方法來構建語句空間：

Top-k 替代方案： 使用束搜索從 LLM 中採樣前 k 個語句，生成具有靈活措辭的語用序列。
邏輯規則替代方案： 根據邏輯規則構建語用和字面語句。

研究人員還定義了兩種不同的意義函數來評估語句與物體之間的關係：

基於提示的意義函數： 利用 LLM 的自然語言理解能力，通過提示工程生成數值分數。
基於規則的意義函數： 基於特徵排除，如果語句包含與物體特徵相矛盾的特徵，則該語句不描述該物體。

主要發現

LLM 的評分與使用不同意義函數的 RSA 模型的評分之間沒有明顯的線性關係。
LLM 更傾向於字面語句，而不是語用語句。
LLM 在邏輯構建的語句上的表現優於 Top-k 生成的語句。
LLM 可以有效地區分不同構建類型的語句，但在對語用語句進行準確排序方面存在不足。
結論
研究結果表明，LLM 並非理想的語用說話者。儘管 LLM 在受控環境中表現出一定的語用能力，但其在日常語言中的泛化能力仍不確定。
研究意義

提供了一個評估 LLM 語用能力的框架。
強調了 LLM 在語用推理方面的局限性。
為改進 LLM 的語用能力提供了方向。
局限性和未來研究方向

參考遊戲的結構化性質可能無法完全反映現實世界交流的複雜性。
應探索更多樣化的數據集，以反映更廣泛的交流環境和自然語言使用。
測試其他 LLM，特別是那些經過大型數據集訓練的具有高級語用推理能力的 GPT 模型。
研究 LLM 與 RSA 模型在多次迭代而非單次交互時的對齊情況。
檢查縮放參數和成本函數對對齊的影響。

統計資料

研究使用了包含 2,940 個參考遊戲的 TUNA 數據集。
共生成了 386,510 個語句實例，其中 88,310 個由 Top-k 採樣生成，298,200 個由基於邏輯的規則生成。
基於規則的意義函數在識別邏輯構建序列的字面關係方面準確率達到 99.9%。
基於提示的意義函數在邏輯構建序列上的平均準確率為 97.3%。
LLM 與使用基於規則的意義函數的 RSA 模型的相關性更高 (PCC = 0.303, SRCC = 0.736)。
LLM 與使用基於提示的意義函數的 RSA 模型的相關性較低 (PCC = 0.291, SRCC = 0.606)。

從以下內容提煉的關鍵洞見

Are LLMs good pragmatic speakers?

by Mingyue Jian... 於 arxiv.org 11-05-2024

https://arxiv.org/pdf/2411.01562.pdf

深入探究

如何將本研究的發現應用於改進 LLM 在對話系統或機器翻譯等實際應用中的語用能力？

本研究發現，儘管大型語言模型 (LLM) 在遵循語法規則方面表現出色，但在模擬人類語用推理，特別是生成符合語境的非字面表達方面仍有不足。
為了改進 LLM 在實際應用中的語用能力，可以參考以下幾點：

引入顯式的語用推理機制: 可以借鑒理性語講行為 (RSA) 模型的思想，在 LLM 中引入顯式的語用推理模塊。該模塊可以根據對話上下文、共同知識和概率推理，生成更符合語境的表達。例如，可以訓練一個獨立的模型來預測聽者的理解，並將其整合到 LLM 的生成過程中，使其能夠預測聽者對不同表達的理解，從而選擇更合适的语句。

構建更豐富的語用訓練數據集: 現有的 LLM 訓練數據集大多側重於語言的字面含義，缺乏對語境信息和語用意圖的標注。可以構建更豐富的語用訓練數據集，包含不同語境下的多種表達方式，以及對應的語用意圖標注。例如，可以收集真實世界的人類對話數據，並對其進行語用標注，或者設計專門的數據增強方法，自動生成包含豐富語用信息的訓練樣本。

結合強化學習進行優化: 可以利用強化學習算法，根據 LLM 在實際應用中的表現，對其語用能力進行優化。例如，可以將對話系統或機器翻譯任務中的用戶滿意度作為獎勵信號，引導 LLM 生成更自然、更符合語境的表達。

針對特定應用場景進行微調: 不同應用場景對 LLM 的語用能力要求不同。可以針對特定應用場景，例如客服對話、新聞翻譯等，對 LLM 進行微調，使其更能理解和生成該場景下的語用表達。

如果將 LLM 訓練在專門設計用於增強語用推理能力的數據集上，其表現是否會有所改善？

答案是肯定的。
本研究發現 LLM 在處理邏輯構建的語句時表現更出色，這表明 LLM 更擅長於處理結構化信息和進行邏輯推理。而人類語言的複雜性在於其靈活性、歧義性和文化依賴性，這些都是難以用簡單的邏輯規則完全描述的。
因此，如果將 LLM 訓練在專門設計用於增強語用推理能力的數據集上，其表現會有所改善。這樣的數據集應該包含以下特點：

豐富的語境信息: 每個語句都應該包含足夠的語境信息，例如說話者、聽者、時間、地點、話題等，以便 LLM 能够更好地理解語句背后的語用意圖。
多樣化的表達方式: 同一個語用意圖可以用多种不同的表達方式來表達，數據集應該包含盡可能多樣化的表達方式，以便 LLM 能够更好地理解不同表達方式之间的語用差异。
清晰的語用意圖標注: 每個語句都應該有清晰的語用意圖標注，例如請求、命令、建議、拒絕等，以便 LLM 能够學習到不同語用意圖的表達方式。
通過在這樣的數據集上進行訓練，LLM 可以更好地理解語境信息、掌握不同的表達方式，並更準確地推斷出說話者的語用意圖，從而提高其在對話系統、機器翻譯等實際應用中的語用能力。

人類語言的哪些獨特特徵是 LLM 目前難以完全掌握的，以及如何克服這些挑戰？

儘管 LLM 在自然語言處理方面取得了顯著進展，但人類語言的一些獨特特徵仍然是它們難以完全掌握的，例如：

常識推理和世界知識: 人類語言的理解和生成往往依賴於大量的常識知識和世界知識。例如，要理解“他把咖啡倒進杯子裡，因為它太滿了”這句話，需要知道咖啡是液體，液體有流動性，以及容器裝滿液體後會溢出等常識知識。而 LLM 目前還缺乏對這些常識知識的有效表徵和推理能力。

克服挑戰: 可以通過構建大規模常識知識庫、設計基於知識圖譜的推理模型、以及將 LLM 與外部知識庫進行整合等方式，來增強 LLM 的常識推理和世界知識能力。

情感和情緒: 人類語言不僅僅是傳遞信息，還承載着豐富的情感和情緒。例如，同樣一句話，用不同的語氣、語調和表情來表達，可能會傳遞出完全不同的情感。而 LLM 目前還難以準確地理解和生成這些情感和情緒。

克服挑戰: 可以通過引入情感分析技術、構建情感詞典、以及設計基於情感的語言模型等方式，來增強 LLM 對情感和情緒的理解和生成能力。

創造性和幽默感: 人類語言具有很强的創造性和幽默感，可以通過比喻、反諷、雙關等修辭手法來表達更豐富的含义。而 LLM 目前還難以理解和生成這些具有創造性和幽默感的表達方式。

克服挑戰: 可以通過分析大量的文學作品、學習不同的修辭手法、以及設計基於生成对抗网络的語言模型等方式，來增強 LLM 的創造性和幽默感。

文化差异和语境依赖: 不同文化背景下的人們，即使使用相同的語言，也可能會有不同的表达习惯和理解方式。例如，同樣一句話，在不同的文化背景下，可能會有不同的褒贬含义。而 LLM 目前還難以完全理解和處理這些文化差异和语境依赖。

克服挑戰: 可以通過構建多語言、跨文化的訓練數據集、設計基於文化差异的語言模型、以及在模型訓練過程中引入文化信息等方式，來增強 LLM 對文化差异和语境依赖的處理能力。

总而言之，要讓 LLM 真正掌握人類語言的精髓，還需要克服許多挑戰。相信随着人工智能技术的不断发展，LLM 将會在未来更好地理解和生成人類語言，并在各个领域发挥更大的作用。