開源大型語言模型提示工程大規模探索：機器翻譯和摘要評估

核心概念

本文提出了一種針對開源大型語言模型 (LLM) 的大規模提示探索方法 (PrExMe)，用於評估機器翻譯和摘要任務，探討了不同提示策略對評估結果的影響，並發現了一些穩定和易變的模式。

摘要

研究目標
本研究旨在探討如何利用開源大型語言模型 (LLM) 作為機器翻譯和摘要評估的指標，並系統性地評估不同提示策略對評估結果的影響。
方法
研究人員設計了超過 720 種提示模板，涵蓋了零樣本學習、思辨鏈 (CoT)、檢索增強生成 (RAG) 等多種提示技術，並對七個開源 LLM 進行了超過 660 萬次評估。評估數據集包括機器翻譯和摘要任務，並採用 Kendall、Pearson 和 Spearman 相關係數等指標來衡量評估結果與人工評分的相關性。
主要發現

研究發現，某些提示模式在不同任務和數據集上表現穩定，例如某些 LLM 偏好使用文字標籤評分，而另一些則偏好使用數值分數。
然而，即使是微小的提示變化也可能顯著影響評估結果，例如將請求的輸出格式從「0 到 100」更改為「-1 到 +1」會顯著影響模型排名。
在所測試的 LLM 中，PLATYPUS2-70B 模型整體表現最佳。
結論
本研究為基於開源 LLM 的自然語言生成評估指標提供了全面的評估框架，並揭示了不同提示策略對評估結果的影響。研究結果表明，選擇合適的提示策略對於構建穩健和可靠的 LLM 評估指標至關重要。
研究意義
本研究對於推進基於 LLM 的自然語言生成評估具有重要意義，特別是在低資源場景和時間受限的應用中。研究結果可以指導研究人員設計更有效和穩定的 LLM 評估指標，並促進開源 LLM 在自然語言處理領域的應用。
局限與未來研究方向

本研究僅探索了有限的提示策略，未來可以進一步研究其他提示技術，例如更詳細的任務指令或結構化輸出格式。
此外，本研究沒有完全排除新 LLM 模型在訓練數據中接觸過舊數據集的可能性。
未來研究可以探討如何處理 LLM 上下文窗口大小限制的問題，並進一步驗證所提出的提示策略在其他自然語言生成任務上的有效性。

统计

本文評估了超過 720 種提示模板。
研究人員對七個開源 LLM 進行了超過 660 萬次評估。
PLATYPUS2-70B 模型在 11 項任務中排名第一的次數最多，達到 9 次。

从中提取的关键见解

PrExMe! Large Scale Prompt Exploration of Open Source LLMs for Machine Translation and Summarization Evaluation

by Christoph Le... 在 arxiv.org 11-19-2024

https://arxiv.org/pdf/2406.18528.pdf

更深入的查询

如何將本研究提出的提示策略應用於其他自然語言生成任務，例如對話生成或故事生成？

本研究提出的提示策略，例如零樣本學習、思辨鏈和基於檢索的增強生成，以及不同輸出格式和情感提示，皆可應用於其他自然語言生成任務，例如對話生成或故事生成。以下是一些具體的應用方向：

對話生成：

零樣本學習： 可以直接使用預先訓練好的大型語言模型，並在提示中提供對話的背景和期望的對話風格，例如「請模擬一位經驗豐富的客服人員，回答客戶關於產品故障的問題。」
思辨鏈： 可以引導模型逐步思考對話的邏輯和流程，例如「首先，詢問客戶遇到的具體問題；然後，根據客戶的描述提供可能的解決方案；最後，確認客戶是否還有其他問題。」
基於檢索的增強生成： 可以利用相關的對話歷史記錄或知識庫，為模型提供更豐富的上下文信息，例如「根據客戶之前的購買記錄和當前的問題，推薦最合適的產品。」
情感提示： 可以通過調整提示中的語氣和情感，引導模型生成更符合預期的對話風格，例如「請使用友好和耐心的語氣，幫助客戶解決問題。」

故事生成：

零樣本學習： 可以直接使用預先訓練好的大型語言模型，並在提示中提供故事的背景、人物設定和情節發展方向，例如「請創作一個關於一位年輕魔法師在魔法學校學習和冒險的故事。」
思辨鏈： 可以引導模型逐步構思故事的情節、人物關係和場景描寫，例如「首先，介紹故事的背景和主要人物；然後，設計一系列推動情節發展的事件；最後，為故事設計一個令人難忘的結局。」
基於檢索的增強生成： 可以利用相關的神話傳說、歷史故事或文學作品，為模型提供更豐富的素材和靈感，例如「請參考古希臘神話的風格，創作一個關於英雄和神靈的故事。」
情感提示： 可以通過調整提示中的語氣和情感，引導模型生成更符合預期的故事氛圍，例如「請使用懸疑和緊張的語氣，創作一個恐怖故事。」
需要注意的是，不同的自然語言生成任務有其獨特的特點和要求，因此需要根據具體情況調整和優化提示策略，才能取得最佳效果。

是否存在一種通用的提示策略，可以適用於所有 LLM 和所有自然語言生成任務？

目前，並不存在一種通用的提示策略，可以適用於所有大型語言模型和所有自然語言生成任務。
本研究發現，即使是微小的提示變化，例如更改請求的輸出格式或任務描述的語氣，都可能顯著影響模型的性能。此外，不同的模型對提示策略的敏感度也不同，例如某些模型偏好使用文字標籤，而另一些模型則更適合使用數值評分。
因此，設計有效的提示策略需要考慮多方面的因素，包括：

目標任務的特性： 不同的任務有不同的輸入輸出格式、評估指標和語言風格要求。
模型的結構和訓練數據： 不同的模型具有不同的架構、參數規模和訓練數據，這些因素都會影響模型對提示的理解和生成能力。
提示的清晰度和一致性： 提示應該清晰易懂，避免歧義和矛盾，並與目標任務保持一致。
總之，設計有效的提示策略需要不斷地實驗和探索，並根據具體情況進行調整和優化。

本研究的發現如何促進我們對 LLM 內部機制的理解，以及如何利用這些理解來設計更有效和可靠的 LLM 模型？

本研究的發現，例如模型對不同提示策略的敏感性和偏好，揭示了大型語言模型內部機制的一些重要信息：

LLM 並非簡單地記憶和複製訓練數據，而是具有一定的推理和泛化能力。 例如，模型能夠理解和響應不同的提示指令，並根據提示生成不同風格和格式的文本。
LLM 的內部表徵和決策過程仍然不夠透明，容易受到提示的影響。 例如，微小的提示變化可能導致模型產生截然不同的輸出，這表明模型的決策過程可能存在不穩定性。
不同 LLM 的內部機制存在差異，這可能與其訓練數據和訓練目標有關。 例如，某些模型偏好使用文字標籤，而另一些模型則更適合使用數值評分，這可能反映了它們在訓練過程中接觸到的數據和任務類型的差異。
基於這些理解，我們可以從以下幾個方面著手，設計更有效和可靠的 LLM 模型：

開發更魯棒和可解釋的 LLM 訓練方法，減少模型對提示的敏感性，並提高模型的決策透明度。 例如，可以探索新的正則化方法或訓練目標，鼓勵模型學習更穩定和可解釋的內部表徵。
構建更全面和多樣化的 LLM 評估基準，涵蓋更廣泛的任務、領域和語言，並設計更精細的評估指標，以更好地理解 LLM 的優缺點和局限性。 例如，可以開發新的評估指標，衡量模型的推理能力、泛化能力和魯棒性。
探索新的 LLM 人機交互方式，例如通過可視化工具或自然語言解釋，幫助用戶更好地理解 LLM 的決策過程，並提供更有效的提示和反饋，以提高 LLM 的性能和可靠性。 例如，可以開發可視化工具，展示模型在生成文本時所關注的關鍵詞和語義信息。
通過不斷地探索和改進，我們有望構建更加強大和可靠的大型語言模型，為人類社會帶來更大的價值。