核心概念
大型語言模型 (LLM) 在不同語言之間存在顯著的性能差距,而推理時跨語言干預 (INCLINE) 可以透過將低效語言的表徵與高效語言的表徵對齊,從而在不需額外訓練的情況下提高低效語言的表現。
論文資訊
Wang, W., Wu, M., Haddow, B., & Birch, A. (2024). Bridging the Language Gaps in Large Language Models with Inference-Time Cross-Lingual Intervention. arXiv preprint arXiv:2410.12462.
研究目標
本研究旨在探討如何彌合大型語言模型 (LLM) 在不同語言之間的性能差距,特別是提升低資源語言的表現。
方法
研究提出一個名為「推理時跨語言干預」(INCLINE) 的框架,該框架利用從高效語言(例如英語)學習到的表徵,透過學習對齊矩陣,將低效語言的表徵轉換到高效語言的表徵空間,從而在推理過程中提升低效語言的表現。具體來說,INCLINE 首先使用平行語料庫訓練對齊矩陣,然後在推理過程中應用這些矩陣將低效語言的輸入表徵轉換為高效語言的表徵空間。
主要發現
INCLINE 能夠顯著提高 LLM 在多種語言和任務上的性能,包括 XCOPA、XStoryCloze、XNLI 等。
INCLINE 在資源有限的情況下也能有效運作,只需少量平行語料庫即可訓練對齊矩陣。
INCLINE 可以與其他提升 LLM 性能的方法(例如,特定任務微調)結合使用,進一步提高模型性能。
主要結論
INCLINE 是一種有效且高效的方法,可以彌合 LLM 在不同語言之間的性能差距,特別是在低資源語言方面。
研究意義
本研究為提升 LLM 在多語言環境下的性能提供了一種新的思路,有助於促進 LLM 在更多語言和領域的應用。
局限與未來研究方向
INCLINE 目前主要關注於將低效語言的表徵與英語表徵對齊,未來可以探討如何構建多語言對齊矩陣,以支援更多語言。
INCLINE 需要獲取 LLM 的內部層和表徵,對於不開放內部結構的專有模型或僅透過 API 訪問的模型,應用此方法可能會有困難。未來需要進一步研究如何將跨語言對齊作為一種即插即用的工具應用於所有 LLM,包括那些訪問受限的模型。
統計資料
使用 INCLINE 後,XStoryCloze 的平均準確率提高了 +4.96。
INCLINE 使得斯瓦希爾語的 XStoryCloze 任務的正確預測一致性 (CPC) 從 0.54 提高到 0.65。
在使用四個 in-context 示例的情況下,INCLINE 在 MZsRE 數據集上的平均完全匹配 (EM) 分數比僅使用 in-context learning 的基準提高了 +1.02。