使用文件級別元數據和分類法的特定領域快速持續預訓練技術：FastDoc

核心概念

FastDoc 是一種新穎且計算效率高的持續預訓練技術，它利用文件級別的元數據和特定領域的分類法作為監督信號，在特定領域的語料庫上持續預訓練 Transformer 編碼器，並顯著減少預訓練所需的計算量，同時在各種下游任務中保持或提高效能。

摘要

書目資訊

Nandy, A., Kapadnis, M. N., Patnaik, S., Butala, Y. P., Goyal, P., & Ganguly, N. (2024). FastDoc: Domain-Specific Fast Continual Pre-training Technique using Document-Level Metadata and Taxonomy. arXiv preprint arXiv:2306.06190v3.

研究目標

本研究旨在開發一種計算效率高的特定領域持續預訓練技術，以解決現有基於 MLM 的方法計算量大的問題，並利用文件級別的元數據和分類法來增強特定領域的語言模型。

方法

• **FastDoc 架構：**採用層次化架構，使用預先訓練的句子轉換器（sBERT/sRoBERTa）初始化較低級別的編碼器，並凍結其權重。較高級別的編碼器使用預先訓練的 BERT/RoBERTa 編碼器初始化，並使用句子嵌入作為輸入。
• **文件級別監督：**利用文件元數據和特定領域分類法作為監督信號，透過三重網絡進行文件相似性學習，並透過監督式層次分類任務預測與特定領域分類法相對應的層次類別。
• **持續預訓練：**在特定領域語料庫上持續預訓練較高級別的編碼器，並在下游任務中僅對其進行微調。

主要發現

• 與 MLM 和/或 NSP 相比，FastDoc 在客戶支援、科學和法律領域分別減少了約 1,000 倍、4,500 倍和 500 倍的預訓練計算量。
• FastDoc 在客戶支援、科學和法律領域的字元級別 F1 分數和其他自動化指標方面，其效能與其他幾種具有競爭力的基於 Transformer 的基準模型相當或更佳。
• 與基準模型不同，FastDoc 在開放領域的效能下降可忽略不計，這表明其具有更好的抗災難性遺忘能力。

意義

FastDoc 提供了一種計算效率高且有效的特定領域持續預訓練方法，可以顯著減少預訓練時間和資源需求，同時保持或提高下游任務的效能。

局限性和未來研究

• 未來的工作可以探索將 FastDoc 應用於更多領域和下游任務。
• 研究在沒有既定文件元數據和分類法的領域中應用 FastDoc 的方法將是有價值的。

統計資料

與 MLM 和/或 NSP 相比，FastDoc 在客戶支援、科學和法律領域分別減少了約 1,000 倍、4,500 倍和 500 倍的預訓練計算量。
FastDoc(Cus.)RoBERT a 在 TechQA 資料集上的 F1 分數和 HA_F1@1 分數比最佳基準模型 Longformer 高約 6%。
FastDoc(Sci.)BERT 在 6 個資料集中有 4 個的效能優於 SciBERT，並且在關係分類任務中表現最佳。
FastDoc(Leg.)RoBERT a 在 CUAD 資料集上取得了最佳的 Precision@80% Recall 分數，並且 AUPR 分數排名第二。
與 MLM 相比，FastDoc 在預訓練期間參數的相對變化小約 100 倍。
使用 RoBERTa-LARGE 作為 FastDoc 的骨幹模型可以進一步提高結果。

引述

"The novel use of document-level supervision along with sentence-level embedding input for pre-training reduces pre-training compute by around 1,000, 4,500, and 500 times compared to MLM and/or NSP in Customer Support, Scientific, and Legal Domains, respectively."
"The reduced training time does not lead to a deterioration in performance. In fact we show that FastDoc either outperforms or performs on par with several competitive transformer-based baselines in terms of character-level F1 scores and other automated metrics in the Customer Support, Scientific, and Legal Domains."
"Moreover, reduced training aids in mitigating the risk of catastrophic forgetting. Thus, unlike baselines, FastDoc shows a negligible drop in performance on open domain."

從以下內容提煉的關鍵洞見

$FastDoc$: Domain-Specific Fast Continual Pre-training Technique using Document-Level Metadata and Taxonomy

by Abhilash Nan... 於 arxiv.org 11-04-2024

https://arxiv.org/pdf/2306.06190.pdf

深入探究

FastDoc 如何與其他新興的預訓練技術（例如，基於提示的學習）相結合，以進一步提高特定領域的語言模型的效能？

FastDoc 可以透過以下幾種方式與基於提示的學習等新興預訓練技術相結合，以進一步提高特定領域語言模型的效能：

基於提示的微調 (Prompt-based Fine-tuning)： 在使用 FastDoc 進行預訓練後，可以使用特定領域的提示對模型進行微調。這些提示可以包含特定領域的關鍵字、詞彙或語法結構，引導模型更好地理解特定領域的語言現象。例如，在法律領域，可以使用包含法律條文、案例名稱或法律術語的提示對模型進行微調。

基於提示的資料增強 (Prompt-based Data Augmentation)： 可以使用基於提示的技術生成額外的訓練資料，用於 FastDoc 的預訓練或微調階段。例如，可以使用特定領域的提示生成問題和答案對，或生成包含特定領域知識的句子。

混合預訓練目標 (Hybrid Pre-training Objectives)： 可以將 FastDoc 的文件級別監督信號與基於提示的學習目標相結合，例如，可以使用 FastDoc 的損失函數來學習文件級別的表示，同時使用基於提示的損失函數來學習更細粒度的語言現象。

知識注入提示 (Knowledge-infused Prompts)： 可以將特定領域的知識注入到提示中，例如，可以使用知識圖嵌入或實體鏈接技術將特定領域的實體和關係信息添加到提示中，從而提高模型對特定領域知識的理解能力。

透過結合 FastDoc 與基於提示的學習等新興預訓練技術，可以充分利用文件級別的監督信號和特定領域的知識，進一步提高特定領域語言模型的效能。

如果文件元數據和分類法有雜訊或不完整，FastDoc 的效能會受到怎樣的影響？如何減輕這些影響？

如果文件元數據和分類法有雜訊或不完整，FastDoc 的效能的確會受到影響，主要體現在以下幾個方面：

訓練資料品質下降： 雜訊或不完整的元數據和分類法會降低訓練資料的品質，導致模型學習到錯誤或不完整的知識。例如，如果兩個相似文件的元數據被錯誤地標記為不相似，模型可能會學習到錯誤的相似性關係。
模型泛化能力下降： 模型可能會過度依賴於有雜訊或不完整的元數據和分類法，導致其在處理沒有這些信息的文件時泛化能力下降。
分類錯誤： 在進行文件分類任務時，不準確的分類法可能會導致模型將文件分類到錯誤的類別。
為了減輕這些影響，可以採取以下措施：

資料清洗和預處理： 在使用元數據和分類法之前，應進行資料清洗和預處理，以儘可能消除雜訊和不完整信息。可以使用規則、詞典或機器學習模型來識別和糾正錯誤。
半監督學習： 可以結合半監督學習方法，利用少量乾淨的元數據和分類法來訓練模型，並使用模型對未標記的資料進行預測，進一步提高模型的準確性和魯棒性。
弱監督學習： 可以採用弱監督學習方法，利用有雜訊或不完整的元數據和分類法來訓練模型。弱監督學習方法可以容忍一定程度的標籤雜訊，並從中學習到有用的信息。
主動學習： 可以使用主動學習方法，選擇最具信息量的文件進行人工標註，以提高元數據和分類法的品質。
多源信息融合： 可以嘗試結合其他來源的信息，例如文件內容、引用關係或用戶反饋，以彌補元數據和分類法不足造成的影響。
總之，雖然 FastDoc 的效能會受到雜訊或不完整元數據和分類法的影響，但可以透過資料清洗、半監督學習、弱監督學習、主動學習和多源信息融合等方法來減輕這些影響，提高模型的準確性和魯棒性。

FastDoc 中使用的文件級別監督信號如何應用於其他需要理解長程上下文關係的自然語言處理任務，例如文件摘要或機器翻譯？

FastDoc 中使用的文件級別監督信號可以透過以下方式應用於其他需要理解長程上下文關係的自然語言處理任務，例如文件摘要或機器翻譯：
1. 文件摘要：

文件級別相似性： 可以使用 FastDoc 中的 Triplet Loss 來學習文件級別的相似性，例如，可以將參考摘要視為「正例」，將與原文檔不相關的摘要視為「負例」，訓練模型生成與原文檔更相似的摘要。
層次化資訊： 可以利用文件中的章節結構、標題和關鍵詞等層次化資訊，將 FastDoc 中的 Hierarchical Classification Loss 應用於摘要生成，例如，可以訓練模型預測摘要中每個句子應該屬於哪個章節或主題，從而生成更符合原文檔結構的摘要。
2. 機器翻譯：

文件級別語義一致性： 可以使用 FastDoc 中的 Triplet Loss 來學習文件級別的語義一致性，例如，可以將原文檔的不同語言版本視為「正例」，將與原文檔語義不符的譯文視為「負例」，訓練模型生成語義更一致的譯文。
跨語言資訊抽取： 可以利用 FastDoc 中的 Hierarchical Classification Loss 來進行跨語言資訊抽取，例如，可以訓練模型預測原文檔和譯文中每個句子是否描述了相同的事件或實體，從而提高機器翻譯的準確性和流暢性。
總之，FastDoc 中使用的文件級別監督信號可以透過學習文件級別的相似性、層次化資訊和語義一致性等方式，應用於其他需要理解長程上下文關係的自然語言處理任務，例如文件摘要或機器翻譯，從而提高這些任務的效能。