基於 Conformer 和 BILSTM 的端到端口吃檢測方法

Основные понятия

本文提出了一種基於 Conformer 和 BILSTM 的新型口吃事件檢測模型，該模型通過多任務學習策略，有效地提高了口吃檢測的準確性和實用性。

Аннотация

論文概述
本論文提出了一種基於 Conformer 和 BILSTM 的新型口吃事件檢測模型，旨在解決口吃研究中模型泛化能力和數據限制等關鍵挑戰。該模型首先利用 Conformer 模型從口吃語音中提取聲學特徵，然後結合 LSTM 捕捉上下文關係，並採用優化的多任務策略，在口吃檢測任務中展現出強大的性能。實驗結果表明，該模型顯著優於現有的最先進方法，突出了其在提高口吃檢測準確性和實用性方面的有效性，為語言病理學家評估口吃類型和嚴重程度提供了一個強大的工具。
研究背景
口吃是一種影響全球約 7000 萬人的主要言語障礙，約佔總人口的 1%。對於口吃者來說，口吃不僅會影響他們的社會功能，還會對他們的心理健康產生負面影響。隨著通訊技術的進步，這些影響呈現加劇趨勢。本研究旨在實現口吃的自動檢測，這項技術具有多項重要應用。例如，自動檢測可以幫助語言治療師減少與人工計算相關的工作量，使他們能夠更有效地評估口吃的嚴重程度。此外，它還可以為口吃者提供有關其言語流暢性的即時反饋。
研究方法
本研究提出的模型結構主要分為三個部分：

Conformer 特徵提取: 採用 Conformer 編碼器作為基線模型，從語音中提取 80 維的 fbank 特徵，並將其輸入 Conformer 編碼器，最後通過線性層進行分類。
BILSTM 上下文捕捉: 在基線 Conformer 模型之後引入兩層 BILSTM，用於提取語音中的長期上下文信息，以更好地捕捉語義的順序性和重複性關係。
多任務學習: 針對口吃症狀之間的高度相關性，但各自樣本比例不平衡的問題，採用多任務學習策略，引入額外的輔助任務，以增強訓練效果。

實驗結果
實驗結果表明，該模型在 AS-70 數據集上的五項任務中均取得了顯著的性能提升：

與未經預訓練的 Conformer 相比，經過 ASR 預訓練的 Conformer 的平均 F1 分數提高了 13.37%，展現出更高的魯棒性。
在 Conformer3、Conformer6 和 Conformer12 模型中，性能隨著層數的增加而逐漸提高，而 Conformer15 模型的性能則低於 Conformer12 模型，表明增加層數会导致过拟合。
BILSTM 的性能優於 LSTM，表明雙向依賴信息對於口吃任務更有效。
多任務學習有效地解決了模型的過擬合問題，但也限制了某些任務的最佳性能。
結論與展望
本研究提出了一種基於 Conformer 和 BILSTM 的新型口吃事件檢測模型，通過多任務學習策略，有效地提高了口吃檢測的準確性和實用性。未來的工作將集中於分析口吃檢測中任務之間的深層關係，以從理論角度增強可解釋性。此外，還將通過整合聲學信號和語義信息來進一步優化模型性能，並探索模型在其他口吃數據集上的應用和可擴展性。

Статистика

全球約有 7000 萬人患有口吃，約佔總人口的 1%。
在 AS-70 數據集中，對話任務中每分鐘口吃事件的比例為 15.58%，命令任務中為 8.11%。
與未經預訓練的 Conformer 相比，經過 ASR 預訓練的 Conformer 的平均 F1 分數提高了 13.37%。
在 Conformer3、Conformer6 和 Conformer12 模型中，性能隨著層數的增加而逐漸提高。
與多任務學習相比，任務 /b 和 /r 分別提高了 49.58% 和 13.33%。
對於任務 /p、[] 和 /i，性能分別下降了 3%、4% 和 18.5%。

Ключевые выводы из

An End-To-End Stuttering Detection Method Based On Conformer And BILSTM

by Xiaokang Liu... в arxiv.org 11-15-2024

https://arxiv.org/pdf/2411.09479.pdf

Дополнительные вопросы

如何將該模型應用於其他語言的口吃檢測？

要將此模型應用於其他語言的口吃檢測，需要進行以下調整：

數據收集與標註： 首先需要收集大量目標語言的口吃語音數據，並按照與 AS-70 數據集相同的標準進行標註，區分不同的口吃類型（例如：詞語重複、音節重複、停頓、延長等）。
聲學特徵調整： 不同語言的聲學特徵有所差異，因此需要根據目標語言的特點調整模型的聲學特徵提取部分。例如，可以考慮使用針對目標語言訓練的預訓練 Conformer 模型，或者調整 Mel 頻率倒譜系數 (MFCC) 的提取參數。
語言模型適配： 口吃檢測模型的性能也受到語言模型的影響。需要使用目標語言的語料庫訓練語言模型，或者使用針對目標語言優化的預訓練語言模型，例如 BERT 或 GPT 等。
模型微調： 使用目標語言的口吃語音數據對模型進行微調，以適應目標語言的聲學特徵和語言習慣。

總之，將該模型應用於其他語言的口吃檢測需要進行數據、特徵、模型等方面的適配，才能達到理想的效果。

該模型是否可以區分由口吃引起的停頓和其他原因（例如思考或猶豫）引起的停頓？

該模型目前還不能完全區分由口吃引起的停頓和其他原因引起的停頓。

模型局限性： 模型主要依賴於聲學特徵和上下文信息來檢測口吃，而停頓本身的聲學特徵較弱，且不同原因引起的停頓在上下文信息上也可能存在相似性。
數據標註問題： 現有的口吃語音數據集通常只標註了停頓的有無，而沒有區分停頓的原因。這導致模型在訓練過程中缺乏足夠的信息來學習區分不同原因引起的停頓。
為了提高模型區分不同原因停頓的能力，可以考慮以下方向：

更精細的數據標註： 在數據標註時，不僅標註停頓的有無，還要標註停頓的原因（例如：口吃、思考、猶豫等）。
引入更多特徵： 除了聲學特徵和上下文信息，還可以考慮引入其他特徵，例如語義信息、語用信息、生理信號等，以幫助模型更好地理解說話者的意圖和狀態。
多模態融合： 可以嘗試將語音信號與其他模態的信息（例如：視頻、文本）進行融合，以提供更豐富的上下文信息，幫助模型更準確地判斷停頓的原因。

如果將語音識別技術與該模型結合，是否可以進一步提高口吃檢測的準確性和效率？

將語音識別技術與該模型結合，可以進一步提高口吃檢測的準確性和效率。

提供語義信息： 語音識別可以將語音信號轉換為文本，為模型提供更豐富的語義信息。例如，通過分析文本中詞語的重複、語法錯誤等，可以更準確地判斷口吃的存在和類型。
輔助停頓分析： 語音識別可以幫助模型更準確地定位停頓的位置和時長，並結合上下文信息分析停頓的原因，區分由口吃引起的停頓和其他原因引起的停頓。
提高效率： 語音識別可以將語音信號轉換為文本，方便模型進行後續的分析和處理，提高口吃檢測的效率。
例如，可以將語音識別技術與該模型結合，構建一個兩階段的口吃檢測系統：

第一階段： 使用語音識別技術將語音信號轉換為文本，並進行初步的口吃檢測，例如識別文本中明顯的詞語重複和語法錯誤。
第二階段： 將第一階段的結果和原始語音信號一起輸入到該模型中，利用模型的聲學特徵和上下文信息分析能力，對口吃進行更精確的檢測和分類。

總之，語音識別技術可以為口吃檢測模型提供更豐富的信息，幫助模型更準確、高效地完成口吃檢測任務。