UnifiedCrawl：利用彙總的 Common Crawl 數據集，以經濟實惠的方式調整低資源語言的大型語言模型

核心概念

本文提出了一種名為 UnifiedCrawl 的方法，透過有效地從 Common Crawl 語料庫中收集和處理低資源語言的文本數據，並利用量化和輕量級適配器（QLoRA）對多語言大型語言模型進行微調，從而以經濟實惠的方式提升低資源語言的自然語言處理效能。

摘要

論文概述

本研究論文旨在解決低資源語言在大型語言模型（LLM）中表現不佳的問題。作者提出了一種名為 UnifiedCrawl 的新方法，該方法可以有效地從 Common Crawl 語料庫中收集和處理低資源語言的文本數據，並利用量化和輕量級適配器（QLoRA）對多語言 LLM 進行微調，從而以經濟實惠的方式提升低資源語言的自然語言處理效能。

研究背景

大型語言模型（LLM）在高資源語言中表現出色，但在低資源語言中表現不佳，因為訓練數據有限。雖然多語言 LLM 嘗試解決這個問題，但它們仍然忽略了數百種擁有大量使用者的低資源語言。

研究方法

UnifiedCrawl 方法包括兩個主要步驟：

1. 數據收集框架：

   • **索引過濾：**利用 DuckDB 和多進程處理，從 Common Crawl 索引中有效地過濾目標低資源語言的 URL。
   • **提取 WARC 文件：**使用 HTTP 範圍請求僅下載與目標語言相對應的 WARC 文件。
   • **文本提取：**使用 WARCIO 庫和 Trafilatura 工具從 WARC 文件中提取原始文本。
   • **重複數據刪除：**採用精確子字符串重複數據刪除技術來提高數據集質量。

2. 低資源模型適配：

   • **量化：**使用 4 位量化來減少模型大小和內存使用量。
   • **QLoRA：**利用量化低秩適配器在量化 LLM 上有效地訓練適配器。

實驗結果

• UnifiedCrawl 方法成功地提取了七種低資源語言的單語語料庫，其規模遠超先前編譯的數據集。
• 使用 QLoRA 對 UnifiedCrawl-Amharic 數據集進行微調後，XGLM-564M 和 XGLM-4.5B 模型的語言建模困惑度顯著降低。
• 在 AmQA 數據集上的下游少樣本提示任務中，經過微調的 XGLM-4.5B 模型的 F1 分數和 EM 分數均有所提高。

結論

UnifiedCrawl 方法提供了一種經濟實惠的方法，可以利用消費者級硬件改進低資源語言的 LLM。該方法通過有效地收集和處理低資源語言的文本數據，並利用量化和輕量級適配器進行模型適配，從而顯著提高了低資源語言的自然語言處理性能。

研究限制和未來方向

• 數據提取方法對於高資源語言的適用性受到提取時間長和存儲挑戰的限制。
• 傳統的評估指標（如 F1 和 EM）可能無法充分捕捉不同語言之間的細微差別。
• 未來研究方向包括：
  • 將數據收集管道擴展到更多低資源語言。
  • 探索替代模型架構（如 BLOOM 和 mT5）。
  • 在不同的下游任務中進行更全面的評估。

統計資料

Amharic 語言在 Common Crawl 數據集中約佔 0.0036%。
每個 Common Crawl 存檔索引壓縮後約為 250GB。
經過過濾的 Amharic 語言索引大小約為 20MB。
每個 Common Crawl 存檔包含約 100TB 的壓縮 WARC 文件。
與 Amharic 語言相對應的 WARC 文件下載大小約為每個存檔 3.5GB。
從 WARC 文件中提取的純文本大小約為 90MB。
所有存檔的 Amharic 語言數據集總大小為 4GB。
子字符串重複數據刪除將數據集大小減少了 85%。
UnifiedCrawl-Amharic 數據集的大小遠大於 Amharic Wikipedia 數據集（22MB）、Amharic 新聞語料庫（150MB）、OSCAR 數據集（500MB）和 mC4 數據集（1.2GB）。
XGLM-564M 模型的初始困惑度為 14,974.70，經過微調後降低至 105.6。
XGLM-4.5B 模型的初始困惑度為 35.6，經過微調後降低至 19.6。
在 AmQA 數據集上，經過微調的 XGLM-4.5B 模型的 F1 分數從 8.0 提高到 9.9，EM 分數從 1.3 提高到 2.3。

引述

"LLMs underperform on low-resource languages due to limited training data."
"Our approach, UnifiedCrawl, filters and extracts common crawl using minimal compute resources, yielding mono-lingual datasets much larger than previously available sources."
"Our work and released source code provide an affordable approach to improve LLMs for low-resource languages using consumer hardware."

從以下內容提煉的關鍵洞見

UnifiedCrawl: Aggregated Common Crawl for Affordable Adaptation of LLMs on Low-Resource Languages

by Bethel Meles... 於 arxiv.org 11-22-2024

https://arxiv.org/pdf/2411.14343.pdf

深入探究

如何進一步優化 UnifiedCrawl 方法以處理極低資源語言（例如，只有幾 MB 數據的語言）？

針對數據量極少的極低資源語言，UnifiedCrawl 方法可以從以下幾個方面進行優化：

放寬數據過濾條件:

目前 UnifiedCrawl 只選擇目標語言作為主要內容的網頁。可以考慮放寬條件，允許抓取包含目標語言，即使占比很小的網頁，例如允許 content_language=[amh, en] 的網頁進入語料庫。
降低對文本長度的限制，保留更短的文本片段，盡可能增加數據量。

數據增强:

利用現有的少量數據進行數據增强，例如：

回譯: 將現有文本翻譯成資源豐富的語言，再翻譯回目標語言，生成新的訓練數據。
掩碼語言模型: 使用掩碼語言模型（如BERT）預測句子中被遮蔽的詞，生成新的句子。

跨語言遷移學習:

利用資源豐富語言的預訓練模型，遷移到目標語言，例如使用 XGLM-4.5B 在其他語言上的預訓練模型作為初始模型，再使用少量目標語言數據進行微調。

結合其他數據源:

除了 Common Crawl，還可以考慮整合其他數據源，例如：

平行語料庫: 利用現有的平行語料庫，即使規模很小，也能提供高质量的训练数据。
單語數據: 利用其他來源的單語數據，例如新聞網站、書籍等，即使沒有標註，也能通過預訓練提升模型的語言理解能力。

主動學習:

利用主動學習方法，選擇最有價值的數據進行標註，提高數據效率。

需要注意的是，以上方法需要根據具體的語言和任務需求進行選擇和組合。

如果將 UnifiedCrawl 方法應用於高資源語言，例如英語或中文，會遇到哪些挑戰？

UnifiedCrawl 方法應用於高資源語言時，主要會面臨以下挑戰：

數據規模過於龐大: 高資源語言的數據量遠超低資源語言，例如英文數據量占 Common Crawl 的 50% 以上。直接應用 UnifiedCrawl 方法會導致：

計算資源消耗巨大: 過濾、下載和處理數據需要消耗大量的計算資源，即使使用 DuckDB 和多進程等優化方法，也難以在合理的時間和成本內完成。
存儲空間需求極高: 高資源語言的語料庫規模巨大，需要大量的存儲空間，這對於個人研究者和小型機構來說是一個巨大的挑戰。

數據質量參差不齊: Common Crawl 數據來自互联网，包含大量噪声，例如重复内容、垃圾信息等。高資源語言的數據規模越大，數據清洗和質量控制的難度也越高。
領域偏差: Common Crawl 數據主要來自網頁文本，可能存在領域偏差，例如新聞、論壇等領域的數據占比過高，而其他領域的數據不足。這會影響模型在特定領域的表現。

為了解決這些挑戰，可以考慮以下方法：

分佈式處理: 採用分佈式計算框架，例如 Hadoop 或 Spark，將數據處理任務分佈到多台機器上并行處理，提高處理效率。
數據精選: 根據特定任務需求，制定更严格的过滤条件，例如只选择特定领域或高质量的网页，减少数据规模和噪声。
增量更新: 定期更新語料庫，只處理新增數據，避免重複處理歷史數據。
領域適應: 針對特定任務需求，使用領域適應技術，例如微調或遷移學習，提高模型在特定領域的表現。

在未來，如何利用 UnifiedCrawl 方法促進機器翻譯在低資源語言對之間的發展？

UnifiedCrawl 方法可以從以下幾個方面促進低資源語言對之間的機器翻譯發展：

構建大規模單語語料庫: UnifiedCrawl 可以高效地從 Common Crawl 中提取低資源語言的單語數據，為機器翻譯模型的預訓練提供充足的語料資源。
促進多語言預訓練: 利用 UnifiedCrawl 構建的大規模單語語料庫，可以訓練更强大的多語言預訓練模型，例如 mBART、XLM-R 等，這些模型可以更好地捕捉不同語言之間的語義和句法聯繫，提升低資源語言的機器翻譯效果。
支持跨語言遷移學習: UnifiedCrawl 可以幫助研究者快速獲取特定低資源語言的數據，方便進行跨語言遷移學習研究。例如，可以將資源豐富語言對的機器翻譯模型遷移到低資源語言對，或者使用多語言預訓練模型進行微調，提高低資源語言對的機器翻譯性能。
推動數據增强技術發展: UnifiedCrawl 提取的單語數據可以作為數據增强的基礎，例如回譯、語法改寫等，進一步擴充低資源語言的訓練數據，提升機器翻譯模型的泛化能力。

總之，UnifiedCrawl 方法為低資源語言的數據獲取提供了一種高效便捷的途徑，可以有效促進大規模單語語料庫的構建，進而推動多語言預訓練、跨語言遷移學習和數據增强等技術的發展，最終提升低資源語言對之間的機器翻譯水平。