音声感情認識

音声の音響特徴と言語特徴を用いた感情認識のためのフュージョンアプローチ

音声の音響特徴と言語特徴を組み合わせることで、単一のモダリティを使用する場合よりも感情認識の性能が向上することを示した。特に、文脈依存の単語埋め込みであるBERTを使用することで、従来の単語埋め込みであるGloveよりも良い性能が得られることを明らかにした。また、IEMOCAP データセットにおいて、学習と評価の際のスピーカーやスクリプトの重複が、特に言語モデルの性能に大きな影響を与えることを指摘した。

HuBERT を用いた性別情報を含む多階層疑似ラベルを活用したアダプティブ転移学習による高精度な音声感情認識

音声の音響特徴と言語特徴を用いた感情認識のためのフュージョンアプローチ

MSAC-SERNet: A Reliable Unified Framework for Speaker-Independent Speech Emotion Recognition