音声と視覚に基づくフレームレベルのクロスモーダルアテンションを使用した堅牢なウェイクワード検出

核心概念

AVWWSシステムのパフォーマンス向上に向けたFLCMAモジュールの導入とその効果を示す。

摘要

近年、ニューラルネットワークに基づくウェイクワード検出は、清潔なオーディオサンプルで良好な性能を発揮していますが、騒々しい環境では苦戦しています。視覚的な口唇運動情報は複雑な音響シーンに影響されないため、オーディオビジュアルウェイクワード検出（AVWWS）が注目を集めています。本研究では、フレームレベルのクロスモーダルアテンション（FLCMA）という新しいモジュールを提案し、AVWWSシステムのパフォーマンスを向上させます。このモジュールは、同期した口唇運動と音声信号を通じてフレームレベルでマルチモーダル情報を表現するのに役立ちます。我々はエンド・トゥ・エンドのFLCMAに基づくオーディオビジュアルコンフォマーを訓練し、AVWWSタスク用に事前学習された単一モダリティモデルを微調整してパフォーマンスをさらに向上させました。提案されたシステムは、遠隔MISPデータセットで新たな最先端結果（4.57％WWSスコア）を達成しています。

统计

提案されたシステムはMISPデータセットで新たな最先端結果（4.57％WWSスコア）を達成しています。
AV-Transformer(E)およびAV-Conformer(E)は評価セットで99.083％および99.231％のAUC、8.95％および7.77％のWWSを達成しています。
FLCMA based AV-Transformer/Conformerシステムは性能が向上しており、評価セットで99.541% AUCと5.50% WWSを達成しています。

引用

"Because visual lip movement information is not affected by acoustic noise and can serve as complementary information to the audio stream, the multi-modal audio-visual systems have become more and more popular in several fields."
"Inspired by which enhance multi-channel speaker diarization and ASR using Channel-Level Cross-Channel Attention (CLCCA) for frame-level correlation modeling of multi-channel speech signals, we propose the Frame-Level Cross-Modal Attention (FLCMA) module."
"Our final system (FLCMA-based AV-Conformer with Pretrain strategy) has a further 17% reduction on WWS score, eventually reaching the WWS of 4.57%."

从中提取的关键见解

Robust Wake Word Spotting With Frame-Level Cross-Modal Attention Based Audio-Visual Conformer

by Haoxu Wang,M... 在 arxiv.org 03-05-2024

https://arxiv.org/pdf/2403.01700.pdf

更深入的查询

どうやってFLCMAが異なるフレームでマルチモダリティ情報間の相関性をキャプチャするのですか

FLCMAは、各フレームでの相互モダリティ情報をキャプチャするために設計されています。具体的には、Query（クエリ）、Key（キー）、Value（値）という要素を使用し、各モーダルの特徴量に重み付けを行います。このアテンションメカニズムにより、音声と視覚情報間の関連性がフレーム単位で捉えられます。例えば、高い同期した口唇運動や音声信号などから得られる情報を組み合わせることで、異なるフレーム間での相互作用が強化されます。

他の研究と比較した場合、提案されたシステムはどのような利点がありますか

他の研究と比較して、提案されたシステムにはいくつかの利点があります。まず第一に、FLCMAベースのAudio-Visual Conformerシステムでは新しいFrame-Level Cross-Modal Attentionモジュールが導入されており、マルチモダル情報間の相関性を効果的に捉えています。これにより既存手法よりも優れたパフォーマンス向上が実現しています。またPretrain戦略も採用されており、事前学習済み単一モダリティモデルから知識を移行させることで多様なデータセットでも汎化性能が向上しています。

音声処理技術が今後数年間でどのように進化する可能性がありますか

音声処理技術は今後数年間でさらなる進化が期待されます。特にマルチモダリティアプローチやEnd-to-End学習戦略など最先端技術への取り組みが増加する見込みです。さらに深層学習や自己教師あり学習手法も発展し、「HuBERT」など新たな表現学習手法も登場しています。これらの進歩は音声認識精度やロバスト性向上だけでなく，応用範囲拡大やエッジコンピューティング分野への応用可能性拡大等，幅広い領域へポジティブインパクトを与える可能性があります。