ロバストで適応性の高い音声大言語モデル「WavLLM」の提案

WavLLMは、WhisperエンコーダとWavLMエンコーダを用いて音声の意味情報と音響情報を分離し、カリキュラム学習と prompt-aware LoRA重み適応器を用いることで、複雑な音声タスクにも柔軟に対応できる強力な音声大言語モデルである。