PaDeLLM-NER：大型語言模型中用於命名實體識別的平行解碼方法

Concepts de base

本文提出了一種名為 PaDeLLM-NER 的新型平行解碼方法，用於加速大型語言模型在命名實體識別任務中的推理速度，並在保持高預測準確率的同時，顯著縮短了序列長度和推理時間。

Résumé

研究目標
本研究旨在解決大型語言模型 (LLM) 在命名實體識別 (NER) 任務中推理速度緩慢的問題，並提出了一種名為 PaDeLLM-NER 的新型平行解碼方法，以加速 LLM 在 NER 任務中的推理速度。
方法
PaDeLLM-NER 方法的核心是將原本的序列解碼過程轉變為平行解碼，具體步驟如下：

指令微調的重構: 在訓練階段，將原始的指令微調任務重新構建，使 LLM 能夠預測特定標籤的提及次數，並識別該標籤在整個輸入中的第 n 個提及。
標籤-提及對的推理: 在推理階段，LLM 首先預測所有標籤的提及次數，然後平行預測所有標籤-提及對。
結果聚合和重複項消除: 最後，根據預測概率聚合所有序列的結果，並消除跨標籤的重複提及。

主要發現

PaDeLLM-NER 能夠有效減少每個序列中產生的標記數量，從而縮短推理延遲。
與傳統的自回歸方法相比，PaDeLLM-NER 在英文和中文的平面和嵌套 NER 任務中，都能夠保持甚至提高預測質量。
在零樣本和監督學習場景下，PaDeLLM-NER 的性能均與現有最佳方法相當。
主要結論
PaDeLLM-NER 是一種有效且通用的方法，可以顯著加速 LLM 在 NER 任務中的推理速度，同時保持高預測準確率。
意義
本研究為加速 LLM 在 NER 任務中的推理提供了一種新的思路，並為其他自然語言處理任務的推理加速提供了參考。
局限性和未來研究方向

PaDeLLM-NER 方法需要將訓練樣本數量增加到 m * n 個，其中 m 是標籤數量，n 是提及次數，這可能會增加訓練成本。
未來研究可以探索將 PaDeLLM-NER 應用於其他自然語言處理任務，例如關係抽取和事件抽取。
此外，還可以進一步優化 PaDeLLM-NER 的推理過程，例如通過 KV 緩存重用和帶有提前退出機制的批量推理來減少重複計算。

Stats

PaDeLLM-NER 的推理速度比傳統的自回歸方法快 1.76 到 10.22 倍。
在零樣本 NER 任務中，PaDeLLM-NER 的平均 F1 值為 61.68%。
在監督學習的英文 NER 數據集上，PaDeLLM-NER 的平均 F1 值為 85.07%。
在監督學習的中文 NER 數據集上，PaDeLLM-NER 的平均 F1 值為 84.66%。

Idées clés tirées de

PaDeLLM-NER: Parallel Decoding in Large Language Models for Named Entity Recognition

by Jinghui Lu, ... à arxiv.org 11-22-2024

https://arxiv.org/pdf/2402.04838.pdf

Questions plus approfondies

PaDeLLM-NER 方法能否應用於其他需要處理長序列的自然語言處理任務，例如文本摘要和機器翻譯？

PaDeLLM-NER 的核心概念是將原本需要循序生成的長序列拆解成多個可以平行處理的短序列，藉此提升推理速度。這個概念理論上可以應用於其他同樣面臨長序列生成問題的自然語言處理任務，例如：

文本摘要: 可以將文本切分成多個片段，分別生成摘要後再進行整合。
機器翻譯: 可以將句子切分成多個片段，平行翻譯後再進行組合。
然而，直接套用 PaDeLLM-NER 到這些任務可能會遇到以下挑戰：

資訊遺失: 將長序列拆解成短序列可能會導致資訊遺失，例如文本摘要中不同片段之間的語義關聯，或是機器翻譯中長句的文法結構。
結果整合: 如何有效地將平行生成的結果整合起來也是一個挑戰，需要考慮語義流暢度、文法正確性等因素。
因此，若要將 PaDeLLM-NER 應用於其他自然語言處理任務，需要針對任務特性進行調整，例如設計更精巧的序列拆解和結果整合方法，才能在提升推理速度的同時維持預測品質。

在實際應用中，如何平衡 PaDeLLM-NER 的推理速度和預測準確率？

在實際應用中，平衡 PaDeLLM-NER 的推理速度和預測準確率需要考量以下因素：

應用場景: 對於速度要求極高的場景，例如線上客服機器人，可以適當降低預測準確率的要求，以換取更快的回應速度。反之，對於準確率要求較高的場景，例如醫療報告分析，則需要在保證準確率的前提下盡可能提升速度。
模型大小: 較大的模型通常具有更高的預測準確率，但推理速度較慢。可以根據實際需求選擇合適大小的模型，或使用模型壓縮技術來降低模型大小和推理時間。
資源限制: 可用的計算資源也會影響速度和準確率的平衡。如果資源充足，可以使用更大的模型或更複雜的推理方法來提升準確率。反之，則需要在資源限制下盡可能優化推理速度。
以下是一些可以平衡速度和準確率的方法：

調整序列長度: 可以根據實際情況調整每個序列的長度，在速度和資訊完整性之間取得平衡。
使用不同的解碼策略: 除了貪婪搜索，也可以使用其他解碼策略，例如束搜索（beam search），在速度和預測品質之間取得平衡。
結合其他加速方法: 可以將 PaDeLLM-NER 與其他 LLM 推理加速方法相結合，例如 LLM.int8() 和推測性採樣，進一步提升推理速度。

如果將 PaDeLLM-NER 與其他 LLM 推理加速方法（例如 LLM.int8() 和推測性採樣）相結合，能否進一步提高推理速度？

將 PaDeLLM-NER 與其他 LLM 推理加速方法相結合，例如 LLM.int8() 和推測性採樣，有望進一步提高推理速度。

LLM.int8(): 是一種將模型參數從浮點數轉換為整數的量化技術，可以有效減少模型大小和推理時間，而 PaDeLLM-NER 主要關注於減少序列長度和實現平行化，兩者並不衝突，可以互補。
推測性採樣: 是一種在解碼過程中預測後續詞彙，並提前進行計算的方法，可以減少等待時間，提升推理速度。而 PaDeLLM-NER 可以與其結合，在平行生成每個短序列時使用推測性採樣，進一步提升效率。
然而，需要注意的是，這些加速方法可能會影響預測準確率。例如，LLM.int8() 可能會導致精度損失，而推測性採樣可能會引入錯誤預測。因此，在實際應用中，需要評估這些方法對預測準確率的影響，並根據實際需求進行取捨。
總而言之，PaDeLLM-NER 提供了一個新的思路來加速 LLM 在 NER 任務上的推理速度，並且可以與其他加速方法結合使用，進一步提升效率。在未來，探索如何將 PaDeLLM-NER 應用於其他自然語言處理任務，以及如何更好地平衡推理速度和預測準確率，將是重要的研究方向。