不太可能出現的雙元詞揭露了位元組級分詞器中不完整詞元的弱點

核心概念

位元組級分詞器中不完整的詞元，即使經過良好的訓練，也容易受到幻覺的影響，特別是在不太可能出現的雙元詞組合中，這凸顯了開發更強大的語言模型時需要考慮的潛在弱點。

摘要

這篇研究論文探討了位元組級分詞器（特別是位元組對編碼，BPE）中不完整詞元的弱點。作者認為，這些詞元（無法獨立解碼且必須與其他特定詞元一起出現才能形成合法 Unicode 字元的位元組級詞元）過度依賴其相鄰詞元，並且在與不熟悉的詞元配對時容易出現問題。
研究重點：

**不完整詞元：**這些詞元包含無法形成可識別字元的孤立位元組，構成位元組級詞彙表中一小部分但很重要的部分。
**不太可能出現的雙元詞：**這些是由兩個不完整詞元組成的特殊組合，利用了它們相互依存的關係來形成完整的字元，但實際上不太可能在訓練資料中出現。
**幻覺：**作者使用「幻覺」一詞來指模型產生與輸入提示不符或無意義的輸出。
研究結果：

研究發現，與由完整詞元形成的雙元詞相比，不太可能出現的雙元詞更容易在多個大型語言模型（LLM）中產生幻覺。
即使組成不太可能出現的雙元詞的詞元經過良好的訓練，這種現象仍然存在，這表明問題不在於詞元訓練不足，而在於不完整詞元的本質。
使用替代分詞方法（預先分割以避免跨字元邊界分詞）可以顯著減少幻覺，這支持了不完整詞元是造成幻覺原因的假設。
研究意義：
這項研究強調了在自然語言處理中廣泛使用的位元組級 BPE 分詞器的一個潛在弱點。結果表明，即使訓練良好的模型也可能容易受到這些不完整詞元產生的幻覺影響。
未來研究方向：

需要進一步研究以全面了解不完整詞元對模型行為的影響，超越詞組級幻覺，並探討更廣泛的潛在危害。
研究替代分詞方法或修改現有方法以減輕或消除不完整詞元帶來的問題至關重要。

統計資料

Llama3.1 模型中，使用不太可能出現的雙元詞的幻覺發生率為 43%，而使用基準雙元詞的幻覺發生率為 0%。
Exaone 模型中，使用不太可能出現的雙元詞的幻覺發生率為 79%，而使用基準雙元詞的幻覺發生率為 26%。
Qwen2.5 模型中，使用不太可能出現的雙元詞的幻覺發生率為 38%，而使用基準雙元詞的幻覺發生率為 2%。
Mistral-Nemo 模型中，使用不太可能出現的雙元詞的幻覺發生率為 73%，而使用基準雙元詞的幻覺發生率為 0%。
Command-R 模型中，使用不太可能出現的雙元詞的幻覺發生率為 56%，而使用基準雙元詞的幻覺發生率為 9%。
使用替代分詞方法後，Llama 3.1、Exaone、Qwen2.5 和 Mistral-Nemo 模型的幻覺發生率分別降低了 93%、34%、63% 和 98%。

從以下內容提煉的關鍵洞見

Improbable Bigrams Expose Vulnerabilities of Incomplete Tokens in Byte-Level Tokenizers

by Eugene Jang,... 於 arxiv.org 11-01-2024

https://arxiv.org/pdf/2410.23684.pdf

深入探究

除了不太可能出現的雙元詞之外，還有哪些其他類型的輸入可能會揭露位元組級分詞器的弱點？

除了不太可能出現的雙元詞之外，以下類型的輸入也可能揭露位元組級分詞器的弱點：

刻意設計的字元序列： 攻擊者可以利用 UTF-8 編碼的特性，刻意組合一些看似正常，但會被分詞器錯誤分割的字元序列，例如利用同音字、罕見字、特殊符號等，誘導模型產生錯誤的輸出。
混合語言的文本： 位元組級分詞器在處理混合多種語言的文本時，可能會因為不同語言的字元編碼差異而出現分割錯誤，導致模型理解出現偏差。
程式碼或特殊格式文本： 位元組級分詞器在處理程式碼、標記語言等特殊格式文本時，可能會將具有語義的符號或關鍵字錯誤分割，影響模型的程式碼生成或資訊提取能力。
需要注意的是，這些問題的嚴重程度與模型的訓練資料、分詞器的具體實現以及應用的場景密切相關。

如果模型在訓練期間接觸到更多樣化的語言資料，是否可以減輕不完整詞元帶來的問題？

在一定程度上，使用更多樣化的語言資料訓練模型可以減輕不完整詞元帶來的問題。
這是因為，更多樣化的訓練資料意味著模型更有機會學習到不同語言的字元組合規律，以及不完整詞元在不同上下文中的語義。當模型遇到不常見的詞彙或組合時，能夠更準確地推斷其含義，降低產生幻覺或錯誤輸出的可能性。
然而，僅僅依靠增加訓練資料的多樣性並不能完全解決問題。

資料稀疏性： 某些語言或特定領域的資料本身就非常稀疏，難以收集到足夠的訓練資料。
分詞器偏差： 即使訓練資料足夠多樣，分詞器本身的設計和訓練方式也可能存在偏差，導致其在處理某些語言或文本類型時表現不佳。
因此，除了增加訓練資料的多樣性，还需要探索更优的 tokenization 策略，例如：

結合字元級和位元組級的混合分詞： 可以結合兩者的優勢，在保證詞彙覆蓋率的同時，盡可能保留詞彙的完整性。
基於語言學知識的分詞： 可以引入語言學知識，例如詞根、詞綴等，幫助分詞器更準確地分割詞彙。

從更廣泛的角度來看，語言模型中這種技術偏差的發現如何讓我們反思人工智慧系統中的公平性和代表性問題？

語言模型中技術偏差的發現，提醒我們在開發和應用人工智慧系統時，必須關注公平性和代表性問題。

資料偏差： 訓練資料中的偏差會被模型學習和放大，導致模型在面對不同群體或文化時產生不公平的結果。
演算法偏差： 演算法設計和評估指標的選擇也可能存在偏差，影響模型的公平性和代表性。
為了解決這些問題，我們需要：

提高資料的多樣性和代表性： 確保訓練資料涵蓋不同群體、文化和語言，避免模型學習到偏見。
開發更公平的演算法： 設計和評估演算法時，應考慮其對不同群體的影響，避免產生歧視性結果。
建立透明和可解釋的人工智慧系統： 讓使用者理解模型的決策過程，以便及時發現和糾正偏差。
總之，我們需要以負責任的態度開發和應用人工智慧技術，確保其公平、公正地服務於所有人。