利用標籤語義和元標籤優化進行多標籤問題分類

核心概念

針對線上教育內容分類問題，本文提出了一種名為 RR2QC 的新型檢索排序方法，該方法利用標籤語義和元標籤優化來解決多標籤分類中存在的標籤重疊和分佈不均勻問題，並透過數學大型語言模型增強問題語義，最終提升模型在多標籤問題分類上的效能。

摘要

研究背景
在當今線上學習環境中，知識標籤的明確註釋對於推薦系統的透明度和教育可解釋性至關重要，有助於實施個性化教學策略。然而，線上教育的快速發展導致了大量未標記習題的出現。由教育專家手動註釋這些資源不僅成本高昂且耗時，而且容易產生潛在的偏差。這就需要探索自動註釋習題知識標籤的方法，這有望提高效率並減少教育環境中的主觀性。
研究問題
與新聞和產品描述不同，習題內容通常包括描述性文字、數學公式和幾何圖像，以問答形式構成。每個習題都被分配了一個或多個知識標籤，這使得習題註釋成為一項多標籤文字分類（MLTC）任務。由於習題內容的公式繁重性，傳統的機器學習方法使用諸如數學符號的 n 元語法分佈頻率 [1]、結構核 [2] 和 TF-IDF [3, 4] 等技術來提取特徵，然後使用樸素貝葉斯 [5] 和 SVM [6] 進行分類。隨著深度學習的進步，像 TextCNN [7] 和 Bi-LSTM [8] 這樣的特徵捕獲編碼器在處理複雜文字數據方面表現出優越的性能。預訓練語言模型，尤其是 BERT [9]，現在廣泛用於文字分類任務。某些工作，例如 MathBERT [10, 11]、九章 [12] 和 QuesCo [13]，利用 BERT 變體中專門設計的預訓練任務來學習數學文字的通用表示，然後在下游任務上微調模型。儘管這些方法優於 Vanilla BERT，但為習題內容註釋知識標籤仍然面臨著獨特的挑戰。
在現實世界的線上學習系統中，習題的自動註釋面臨著三個關鍵挑戰。首先，一小部分關鍵標籤涵蓋了大量的習題，而大多數其他標籤對應的習題相對較少，這種不均勻的分佈對知識標籤預測提出了重大挑戰。其次，標籤通常是語義豐富的長文字，由於高度相似性而經常重疊。例如，如圖 1 所示，標籤 A 和標籤 B 都包含元標籤 c 和 d，導致其對應的習題內容高度相似，使得分類器難以準確區分。最後，一些較新的習題缺乏參考答案。教育專家通過假設潛在的解決方案來手動註釋這些習題，但模型無法獲得這些先驗知識。缺乏答案進一步增加了模型理解習題的難度。
研究方法
本文介紹了一種利用標籤語義和元標籤優化進行多標籤問題分類的檢索排序方法（RR2QC），其中問題特指以數學文字形式呈現的沒有答案的習題。首先，RR2QC 建立在 QuesCo 的框架之上，開發了一個用於多標籤問題理解的基礎模型。QuesCo 採用數據增強和知識層次樹來創建對比學習任務，從而全面理解問題。由於 QuesCo 的預訓練任務是針對單標籤設置設計的，因此我們將其調整為適用於多標籤上下文。具體來說，我們引入了一個排序對比預訓練任務，該任務採用層次知識距離來定義多標籤上下文中的正樣本對。通過利用標籤組之間的語義關係，這種方法可以生成更有效的基礎模型。
為了應對由於標籤的語義重疊和分佈不平衡導致的預測性能下降，基礎模型被分為兩個獨立的模型用於下游分類訓練。(1) 檢索模型預測標籤。為了管理龐大的標籤集，我們引入了一個基於距離的類中心學習任務，該任務引導問題在特徵空間中接近預定義的類中心。這些類中心是從分佈良好的標籤文字向量中導出的可學習參數，使問題在訓練過程中能夠集中於標籤文字信息。然後，模型從大量標籤中檢索與問題語義最相關的標籤序列。(2) 排序模型利用專家知識將每個標籤分解為元標籤，並在元標籤數據集上重新訓練基礎模型，為每個問題生成一個元標籤序列。通過利用標籤和元標籤之間的映射及其置信度得分，對標籤序列進行重新排序以產生更精確的結果。這種方法將語義複雜的原始標籤分解為相對獨立且分佈更均勻的元標籤，有助於區分高度相似的標籤並增強對尾部標籤的識別。
此外，為了解決問題缺少答案的問題，我們將數學大型語言模型（Math LLM）生成的答案整合到問題輸入中，以豐富其語義內容，填補傳統模型可能忽視的數據空白。
研究結果
實驗表明，與現有的文字分類方法相比，RR2QC 在真實世界的初中和高中數學和物理習題數據集上取得了更高的 Precision@k 和 F1 分數，樹立了新的基準。此外，RR2QC 適用於其他具有豐富標籤語義和不均勻分佈的數據集。
研究貢獻

我們通過設計一個適用於多標籤上下文的排序對比預訓練任務來改進 QuesCo。
我們將文字分類任務轉化為兩個步驟：檢索和排序，有效地解決了由於冗長文字標籤中的語義重疊以及標籤分佈不均勻導致的自動註釋準確性下降的問題。
我們利用數學大型語言模型的自動解題能力來增強問題，有效地揭示了習題的潛在語義並提高了分類性能。

統計資料

從以下內容提煉的關鍵洞見

Leveraging Label Semantics and Meta-Label Refinement for Multi-Label Question Classification

by Shi Dong, Xi... 於 arxiv.org 11-05-2024

https://arxiv.org/pdf/2411.01841.pdf

深入探究

如何將 RR2QC 方法應用於其他領域的多標籤文字分類任務，例如新聞分類、情感分析等？

RR2QC 的核心思想是利用標籤語義和元標籤優化來提升多標籤文字分類的效果，特別是在標籤數量眾多、語義重疊、分佈不均的情況下。此方法可以應用於其他領域的多標籤文字分類任務，例如新聞分類、情感分析等，但需要根據具體任務進行調整：
1. 數據預處理和特徵工程：

新聞分類： 可以使用預訓練的詞向量模型 (如 Word2Vec、GloVe) 或針對新聞領域的預訓練語言模型 (如 BERT-News) 來獲取文本表示。
情感分析： 除了詞向量模型，還可以考慮使用情感詞典或情感分析專用的預訓練模型 (如 BERT-Sentiment) 來捕捉情感信息。
2. 標籤語義和元標籤的構建：

新聞分類： 可以利用新聞標籤的層級關係 (如政治、經濟、體育) 或主題模型 (如 LDA) 來構建元標籤。
情感分析： 可以將情感標籤 (如喜悅、憤怒、悲傷) 分解為更細粒度的元標籤 (如積極、消極、期待、失望)，或者利用情感詞典來擴展元標籤。
3. 模型訓練和優化：

新聞分類： 可以使用 RR2QC 中的排序對比預訓練任務來學習文本和標籤之間的語義關係，並使用類中心學習任務來處理標籤分佈不均的問題。
情感分析： 可以根據情感標籤的特性調整損失函數，例如使用加權交叉熵損失函數來處理不同情感類別的重要性差異。
4. 元標籤的應用：

新聞分類： 可以使用元標籤來優化新聞推薦系統，例如根據用戶閱讀歷史中的元標籤來推薦相關新聞。
情感分析： 可以使用元標籤來分析用戶評論的情感傾向，例如根據評論中出現的積極或消極元標籤來判斷用戶的情感傾向。
總之，RR2QC 的核心思想可以應用於其他領域的多標籤文字分類任務，但需要根據具體任務調整數據預處理、特徵工程、標籤語義和元標籤的構建以及模型訓練和優化等環節。

如果沒有專家參與，如何自動生成有效的元標籤，以及如何評估自動生成的元標籤的質量？

在沒有專家參與的情況下，可以考慮以下方法自動生成元標籤：
1. 基於統計的方法：

詞頻統計： 統計每個標籤文本中出現的詞語及其頻率，選取高頻詞語作為候選元標籤。
TF-IDF： 使用 TF-IDF 算法計算每個詞語在標籤文本集合中的權重，選取高權重詞語作為候選元標籤。
N-gram 模型： 使用 N-gram 模型提取標籤文本中的關鍵詞或短語作為候選元標籤。
2. 基於語義的方法：

詞嵌入聚類： 使用詞嵌入模型 (如 Word2Vec、GloVe) 將標籤文本中的詞語映射到向量空間，然後使用聚類算法 (如 K-Means) 將詞語聚類，每個簇代表一個元標籤。
主題模型： 使用主題模型 (如 LDA) 從標籤文本集合中提取潛在的主題，每個主題代表一個元標籤。
大型語言模型 (LLM)： 使用 LLM (如 ChatGPT、GPT-4) 生成與標籤文本相關的關鍵詞或短語作為候選元標籤。
評估自動生成的元標籤的質量：
1. 基於人工評估：

一致性： 評估自動生成的元標籤與標籤文本之間的語義一致性。
覆蓋率： 評估自動生成的元標籤是否能夠覆蓋標籤文本中的主要信息。
簡潔性： 評估自動生成的元標籤是否簡潔明了，易於理解。
2. 基於指標評估：

聚類指標： 如果使用聚類方法生成元標籤，可以使用聚類指標 (如輪廓係數、Calinski-Harabasz 指標) 來評估聚類質量。
主題模型指標： 如果使用主題模型生成元標籤，可以使用主題模型指標 (如困惑度、主題一致性) 來評估主題質量。
分類性能： 使用自動生成的元標籤訓練分類模型，並評估模型在目標任務上的性能 (如準確率、F1 值)。
需要注意的是，自動生成的元標籤質量可能不如專家標註的元標籤，因此建議在實際應用中結合人工評估和指標評估來選擇最優的元標籤生成方法。

除了使用數學大型語言模型生成答案外，還有哪些方法可以增強問題的語義信息，例如利用圖像、音頻等多模態信息？

除了使用數學大型語言模型生成答案外，還可以利用多模態信息來增強問題的語義信息，以下列舉幾種方法：
1. 圖像信息：

圖像識別： 對於包含圖像的題目，可以使用圖像識別技術提取圖像中的物體、場景、關係等信息，並將其轉換為文本描述，豐富題目的語義信息。
圖像標題生成： 可以使用圖像標題生成模型為圖像生成簡短的文本描述，補充題目中未提及的信息。
圖像問答： 可以使用圖像問答模型根據題目內容和圖像信息生成更準確的答案，幫助模型更好地理解題意。
2. 音頻信息：

語音識別： 對於包含音頻的題目，可以使用語音識別技術將音頻轉換為文本，方便模型處理。
語音情感分析： 可以使用語音情感分析技術分析音頻中的情感信息，例如語氣、語調等，幫助模型更好地理解題目的情感傾向。
3. 其他模態信息：

視頻信息： 對於包含視頻的題目，可以結合圖像和音頻信息進行處理，提取更豐富的語義信息。
傳感器信息： 對於涉及物理實驗或實際操作的題目，可以利用傳感器信息 (如溫度、壓力、加速度) 來補充題目中的環境信息。
多模態信息融合：

早期融合： 在模型輸入層面將不同模態的信息進行拼接或融合，例如將圖像特徵和文本特徵拼接在一起輸入模型。
晚期融合： 分別使用不同模態的模型處理不同模態的信息，然後在模型輸出層面將不同模型的結果進行融合，例如使用加權平均或投票的方式融合不同模型的預測結果。
多模態 Transformer： 使用多模態 Transformer 模型 (如 ViLBERT、LXMERT) 來學習不同模態信息之間的交互關係，並進行聯合建模。
通過引入多模態信息，可以彌補單一文本信息的不足，幫助模型更好地理解題意，從而提高模型的性能。然而，多模態信息處理也面臨著一些挑戰，例如數據收集和標註成本高、模態間信息融合困難等，需要進一步研究和探索。