基於可適性嵌入網路 (AEN) 的高效文本分類方法

核心概念

本文提出了一種名為可適性嵌入網路 (AEN) 的新型雙編碼器架構，用於基於自然語言標準對文本進行高效分類，尤其適用於邊緣計算等資源受限的環境。

摘要

文獻綜述

研究背景

• 現今的語言模型 (LMs) 廣泛應用於文本分類，但計算成本高昂。
• 嵌入模型，特別是基於 Transformer 的模型，在分類任務中表現出色，與基於解碼器的 Transformer 相比，它們在參數數量較少的情況下，準確率更高，效率也顯著提高。
• 傳統的前饋神經網路缺乏使用「提示」對輸入進行分類的能力，並且在訓練後無法適應分類內容或考慮輸入文本的細微差異，因此不太適合需要靈活、上下文感知方法的任務。

相關工作

• 嵌入技術：
  • 訓練方法： Siamese Networks, Triplet Networks, Cross Encoders。
  • 基於 Transformer 的嵌入： Universal Sentence Encoder, Sentence Transformers (SBERT)。
• 低數據環境下的處理方法：
  • 數據增強：通過處理現有數據來創建額外的高質量數據，例如 Augmented SBERT (AugSBERT)。
  • 合成數據：通過模型或算法生成數據，而不是通過觀察或人工標註，例如使用 GPT 生成合成數據。
• 核密度估計 (KDE)：一種從數據集中估計概率分佈的常用方法，能夠在不假設特定參數形式的情況下創建平滑、連續的概率密度估計。

研究方法

數據

• 動機：由於缺乏公開可用的包含自然語言陳述和分類標準的數據集，本研究採用合成數據生成方法。
• 優點：
  • 控制語法和格式
  • 可擴展性
  • 可定制化
  • 倫理考量
• 數據生成過程：
  • 陳述生成：使用 GPT-4o-Mini 模型，通過設計的提示模板和參數設置，生成多樣化的對話陳述。
  • 條件生成：根據生成的陳述，使用 GPT-4o-Mini 模型生成相應的分類條件，並存儲在數據庫中，以便交叉使用和分析。
  • 標籤生成：使用 GPT-4o-Mini 模型，將陳述和條件配對，並為其生成二進制標籤，表示陳述是否滿足條件。

模型與訓練

• 模型架構：AEN 採用雙編碼器架構，一個用於處理輸入文本，另一個用於解釋分類規則。選擇了非鏡像的 Siamese 架構和二進制分類頭進行訓練。
• 數據準備：
  • 批處理策略：根據標記長度對每個陳述進行批處理，以最小化所需的填充量。
  • 條件預處理：從每個條件中移除標準化的短語「When someone」。
• 訓練方法：
  • 使用 NVIDIA RTX 4090 進行訓練。
  • 數據點、學習率和批次大小分別在 5 萬到 500 萬個點、1e-5 到 1e-6 和 64 到 256 之間變化。
  • 採用 Hugging Face 上 SBERT 庫中的 all-MiniLM-L6-v2 和 all-mpnet-base-v2 模型。
• 模型架構探索：
  • 前饋網路：將編碼器生成的嵌入作為輸入，輸入到神經網路 (NN) 中進行分類。
  • 交叉編碼器到前饋網路：結合 Siamese 網路和交叉編碼器的元素，將兩個編碼器的輸出連接起來，輸入到基於 Transformer 的交叉編碼器中，最後將輸出輸入到神經網路中進行分類。
  • 最終模型 AEN with KDE：使用核密度估計 (KDE) 方法，將一個編碼器的輸出轉換為概率密度函數，另一個編碼器的輸出則進行常規的均值池化，然後根據對應的密度函數評估均值池化輸出的每個維度的概率。

結果

• 超參數比較：
  • 數據點/批次大小：數據量是模型成功的關鍵因素。
  • 預訓練編碼器：mpnet-base 模型在數據量足夠的情況下表現更好。
  • 學習率：降低學習率可以顯著提高性能。
  • 損失權重：較大的損失權重可以提高模型的精度。
  • KDE 帶寬：Scott 規則的性能優於 Silverman 規則，表明 AEN 嵌入分佈可能是非高斯或多峰的。
  • KDE 函數：將維度視為高斯概率密度函數產生最有效的結果。
  • KDE 應用：將 KDE 應用於陳述比應用於條件產生略微的性能提升。
• 與小型語言模型 (SLM) 的比較：在準確率、精度、召回率和計算效率方面，AEN 模型的性能優於 LLaMA 3.2 3B 和 Phi-3.5-mini-instruct 模型。

應用

• 邊緣計算：AEN 的計算效率使其非常適合資源受限的邊緣環境，例如，可以將 AEN 部署在語音轉文本系統的下游，用於實時文本分類。
• 決策樹：AEN 的二進制分類架構可以擴展到決策樹的實現，其中一些傳統的布爾運算符可以用自然語言標準代替。

結論與討論

• KDE 在嵌入比較中的理論分析：與基於點的度量方法（如餘弦相似度）不同，KDE 為每個嵌入維度創建一個連續的概率分佈，可以捕捉嵌入表示中的不確定性，並考慮完整的標記分佈，而不是僅僅進行均值池化。
• 數據：數據生成是本研究中的一個主要挑戰，未來的研究可以受益於真實對話數據的獲取，以及更先進的標籤生成和合成數據過濾方法。
• 預訓練嵌入選擇：未來的研究可以探索使用更先進的嵌入技術，例如 LLM2VEC。
• 微調技術：可以通過實施複雜的微調方法（如低秩適配 (LoRA)）來進一步改進 AEN。

總結

AEN 是一種基於嵌入模型的高效多輸入分類器，利用核密度函數比較句子級別的嵌入，實現了自然語言可適應的二進制分類，在邊緣計算和決策樹等領域具有潛在應用價值。

統計資料

使用了 50k 到 2.5M 個數據點進行訓練，F1 分數從 0.644 提高到 0.752。
mpnet-base 模型（109.0M 參數）的測試損失為 0.800，測試 F1 分數為 0.758，而 MiniLM 模型（22.7M 參數）的測試損失為 0.654，測試 F1 分數為 0.749。
學習率為 2e-6 時，模型在第三個 epoch 的測試損失為 0.688，測試 F1 分數為 0.760，而學習率為 2e-5 時，模型在第二個 epoch 就開始過擬合。
使用 Scott 規則進行 KDE 帶寬估計的 F1 分數為 0.637，而使用 Silverman 規則的 F1 分數為 0.607。
將高斯函數用於 KDE 的 F1 分數為 0.637，而使用 Epanechnikov 和 Triangular 函數的 F1 分數分別為 0.611 和 0.600。
將 KDE 應用於陳述的測試損失為 0.618，F1 分數為 0.637，而將 KDE 應用於條件的測試損失為 0.613，F1 分數為 0.636。
在 5000 個樣本的測試集中，AEN 的準確率為 0.88，精度為 0.63，召回率為 0.90，F1 分數為 0.74。
AEN 模型的參數數量為 219M，每次傳遞的 FLOPs 為 22.4B，而 LLaMA-3.2-3B 模型的參數數量為 3.2B，每次傳遞的 FLOPs 為 360.9B。

引述

"To address these challenges, we introduce Adaptable Embeddings Networks (AEN), a novel and computationally efficient method for classifying text based on natural language criteria specified at run-time."
"Our approach significantly outperforms leading Small Language Models (SLMs) in efficiency, often by orders of magnitude, while maintaining comparable accuracy in binary text classification tasks."
"This paper presents a novel approach to network architecture and efficient prompting for resource-constrained environments."

從以下內容提煉的關鍵洞見

Adaptable Embeddings Network (AEN)

by Stan Loosmor... 於 arxiv.org 11-22-2024

https://arxiv.org/pdf/2411.13786.pdf

深入探究

如何將 AEN 模型應用於多类别文本分類或更複雜的自然語言理解任務？

AEN 模型目前設計用於二元文本分類，要將其應用於多类别分類或更複雜的自然語言理解任務，需要進行以下調整：

修改模型輸出層： 將 AEN 模型的二元輸出層替換為多类别輸出層，例如 softmax 層。這將允許模型為每個輸入文本預測多個類別的概率分佈。
調整訓練目標函數： 使用適用於多类别分類的損失函數，例如交叉熵損失函數，來訓練模型。
擴展條件編碼器： 對於更複雜的自然語言理解任務，例如問答或文本摘要，可能需要擴展條件編碼器的能力，使其能夠處理更複雜的語義信息。這可以通過使用更強大的預訓練語言模型或設計更精細的條件編碼器架構來實現。
引入注意力機制： 在處理長文本或需要捕捉輸入文本不同部分之間關係的任務時，可以考慮在 AEN 模型中引入注意力機制。注意力機制可以幫助模型更有效地捕捉關鍵信息，提高模型的性能。

需要注意的是，將 AEN 模型應用於更複雜的任務可能需要更多的訓練數據和計算資源。

如果訓練數據中存在偏差，AEN 模型是否會放大這些偏差，如何 mitigate 這種風險？

是的，如果訓練數據中存在偏差，AEN 模型可能會放大這些偏差。這是因為 AEN 模型是基於數據驅動的機器學習模型，它會從訓練數據中學習模式和規律。如果訓練數據本身存在偏差，模型就會學習到這些偏差，並在預測時表現出來。
以下是一些可以 mitigate 訓練數據偏差風險的方法：

數據預處理： 在訓練 AEN 模型之前，仔細檢查和清理訓練數據，識別並糾正潛在的偏差。這可能包括：

數據平衡： 確保訓練數據集中不同類別的樣本數量均衡，避免模型偏向於數據量較大的類別。
去偏差技術： 使用去偏差技術來減少訓練數據中的偏差。例如，可以使用重採樣、數據增強或對抗訓練等技術。

模型評估： 使用多樣化和具有代表性的評估數據集來評估 AEN 模型的性能，特別關注模型在不同群體或子群體上的表現差異。
偏差緩解技術： 在模型訓練過程中或訓練後，使用偏差緩解技術來減少模型偏差。例如，可以使用正則化技術、公平性約束或對抗訓練等技術。
持續監控： 部署 AEN 模型後，持續監控其性能，以及時發現並糾正潛在的偏差問題。

重要的是要意識到，完全消除訓練數據中的偏差是非常困難的。因此，需要採取多種措施來 mitigate 偏差風險，並持續監控模型的性能，以確保其公平性和可靠性。

在處理需要理解文化背景或常識知識的自然語言文本時，AEN 模型是否會遇到困難？

是的，AEN 模型在處理需要理解文化背景或常識知識的自然語言文本時可能會遇到困難。這是因為 AEN 模型主要依賴於訓練數據中的統計模式來學習語義關係，而缺乏對世界真實知識的理解。
例如，如果訓練數據中沒有出現過“红包”這個詞，或者“红包”出現的語境都與金錢無關，那麼 AEN 模型就很難理解“過年收到红包很開心”這句話的含义。
以下是一些可以幫助 AEN 模型更好地理解文化背景或常識知識的方法：

使用更豐富的訓練數據： 使用包含更多文化背景和常識知識的訓練數據來訓練 AEN 模型。
引入外部知識庫： 將外部知識庫，例如概念圖譜或知識圖譜，整合到 AEN 模型中，為模型提供更豐富的背景知識。
使用預訓練語言模型： 使用在更大規模和更多樣化的數據集上預訓練的語言模型，例如 BERT 或 GPT，作為 AEN 模型的編碼器。這些預訓練模型通常具備更强的語義理解能力，可以更好地捕捉文化背景和常識知識。
設計針對特定文化背景的模型： 針對特定的文化背景或領域設計 AEN 模型，例如針對中國文化或金融領域設計模型。

總之，要讓 AEN 模型更好地理解文化背景或常識知識，需要在數據、模型架構和訓練方法等方面進行改進，使其能够更好地捕捉和利用這些信息。