透過詞彙轉換調整語言模型

核心概念

針對新領域文本，透過詞彙轉換技術調整預先訓練的語言模型，可以有效提高模型在目標領域的壓縮率、降低推理成本，並提升語義對齊度。

摘要

研究論文摘要

書目資訊

Feng, Z., Marwah, T., Mackey, L., Alvarez-Melis, D., & Fusi, N. (2024). Adapting Language Models via Token Translation. arXiv preprint arXiv:2411.00593.

研究目標

本研究旨在解決將預先訓練好的大型語言模型 (LLM) 應用於新領域文本時，所面臨的壓縮率下降、推理成本增加以及語義對齊度降低等問題。

方法

研究提出了一種名為稀疏Sinkhorn詞彙轉換 (S2T2) 的演算法。該演算法無需平行語料庫，僅需目標領域的樣本數據和預先訓練好的LLM權重，即可學習訓練領域詞彙和目標領域詞彙之間的轉換關係。S2T2首先在目標領域上訓練一個新的詞彙表，然後學習將每個目標領域詞彙轉換為訓練領域詞彙的稀疏分佈，並利用預先訓練好的LLM預測下一個訓練領域詞彙，最後將其轉換回目標領域詞彙的稀疏分佈。

主要發現

實驗結果顯示，S2T2能有效提升LLM在蛋白質序列建模任務上的表現。與使用原始詞彙表或直接微調新詞彙表的模型相比，使用S2T2初始化的模型在困惑度和位元/位元組 (BpB) 指標上均有顯著提升。此外，從較小、成本較低的模型學習到的詞彙轉換可以直接遷移到更大、更強大的模型，從而在降低成本的同時獲得S2T2的優勢。

主要結論

S2T2是一種有效的LLM持續微調技術，尤其適用於處理分佈外數據。透過詞彙轉換，S2T2能夠有效地將預先訓練好的LLM知識遷移到新的領域，提高模型的性能。

研究意義

本研究為LLM的領域適應提供了新的思路，並為蛋白質序列建模等領域提供了有效的解決方案。

局限性和未來研究方向

未來研究方向包括將S2T2擴展到程式碼和圖像等其他模態，以及將訓練領域和目標領域的詞彙表結合起來，以構建更有效的“多領域”LLM。

統計資料

使用新的BPE詞彙表，蛋白質序列的平均長度減少了1.82倍。
S2T2初始化的模型在困惑度和位元/位元組 (BpB) 指標上均優於使用原始詞彙表或直接微調新詞彙表的模型。
在OLMo-7B模型上，使用從OLMo-1B模型學習到的詞彙轉換器P進行初始化，其性能顯著優於隨機猜測、使用原始詞彙表的OLMo-7B模型，以及使用截斷嵌入矩陣和語言模型頭的新詞彙表的OLMo-7B模型。

引述

從以下內容提煉的關鍵洞見

Adapting Language Models via Token Translation

by Zhili Feng, ... 於 arxiv.org 11-04-2024

https://arxiv.org/pdf/2411.00593.pdf

深入探究

S2T2如何應用於處理多語言文本，例如將英文LLM調整到中文文本？

若要將 S2T2 應用於處理多語言文本，例如將英文 LLM 調整到中文文本，可以採取以下步驟：

目標領域分詞器訓練: 使用中文文本數據訓練一個新的分詞器，例如 SentencePiece 或 Jieba， 建立中文詞彙表。
S2T2 訓練:

使用英文 LLM 的詞彙表作為源領域詞彙表，使用步驟 1 中訓練的中文詞彙表作為目標領域詞彙表。
利用 S2T2 算法學習一個稀疏的 Sinkhorn 詞彙轉換矩陣(Token Translation Matrix)，將中文詞彙表中的詞彙映射到英文詞彙表的詞彙分佈上。

英文 LLM 調整:

使用學習到的詞彙轉換矩陣將中文文本轉換為英文詞彙表上的分佈表示。
使用轉換後的表示作為輸入，對英文 LLM 進行微調，例如預測下一個詞彙。

需要注意的是，直接將 S2T2 應用於跨語言遷移可能會遇到一些挑戰：

語言結構差異: 中文和英文的語法、語義結構差異較大，僅僅依靠詞彙層面的轉換可能無法完全彌補這種差異。
詞彙歧義: 一個詞彙在不同語境下可能有不同的含义，而 S2T2 目前版本僅僅考慮了詞彙本身，未考慮上下文信息。
為了克服這些挑戰，可以考慮以下改進方向：

引入子詞信息: 可以使用 BPE 等子詞分詞方法，將詞彙拆分成更細粒度的語義單元，以更好地捕捉語言差異。
結合上下文信息: 可以嘗試將 S2T2 與預訓練的跨語言詞彙嵌入或多語言模型結合，引入上下文信息以解決詞彙歧義問題。

如果目標領域數據非常有限，S2T2的性能是否會受到影響？

是的，如果目標領域數據非常有限，S2T2 的性能會受到影響。

詞彙轉換矩陣學習: S2T2 需要學習一個詞彙轉換矩陣，將目標領域詞彙映射到源領域詞彙空間。如果目標領域數據有限，學習到的詞彙轉換矩陣可能不夠準確，導致模型性能下降。
模型微調: 即使詞彙轉換矩陣比較準確，有限的目標領域數據也不足以對 LLM 进行充分的微调，模型可能难以学习到目标领域的特定知识和模式。
为了缓解目标领域数据有限带来的问题，可以尝试以下方法：

数据增强: 可以使用数据增强技术，例如回译、同义词替换等，扩充目标领域数据。
跨语言预训练模型: 可以使用跨语言预训练模型作为初始化模型，例如 XLM、mBERT 等，这些模型已经在多种语言上进行过预训练，能够提供更丰富的跨语言知识。
迁移学习: 可以尝试使用其他相关领域的数据进行预训练，然后再在目标领域数据上进行微调。

如何評估詞彙轉換的質量，以及如何進一步優化詞彙轉換過程？

評估詞彙轉換的質量可以從以下幾個方面入手：

词彙相似度: 可以使用词向量模型计算源领域词彙和目标领域词彙的相似度，例如cosine相似度，评估词彙轉換的准确性。
下游任务性能: 可以将词彙轉換应用到下游任务中，例如文本分类、机器翻译等，评估词彙轉換对下游任务性能的影响。
人工评估: 可以邀请语言学家对词彙轉換结果进行人工评估，例如判断词彙轉換是否准确、自然。
为了进一步优化词彙轉換过程，可以考虑以下方法：

改进 S2T2 算法: 可以尝试改进 S2T2 算法，例如引入更复杂的稀疏约束、结合上下文信息等。
使用更强大的预训练模型: 可以使用更强大的预训练模型作为初始化模型，例如 GPT-3、PaLM 等，这些模型拥有更强的语言理解能力，可以学习到更准确的词彙轉換关系。
结合其他词彙轉換方法: 可以尝试将 S2T2 与其他词彙轉換方法结合，例如基于字典的方法、基于统计机器翻译的方法等，以获得更优的词彙轉換结果。
总而言之，评估词彙轉換质量需要结合多种指标，而优化词彙轉換过程需要不断探索新的方法和技术。