Centrala begrepp
従来の感情分析における限定的な感情ラベルセットの限界に対処するため、本稿では、人間の感情表現の多様性を捉えることを目的とした、オープンエンドな感情状態識別(ASI)という新しいタスクを提案する。
Sammanfattning
MASIVE: 英語とスペイン語におけるオープンエンドな感情状態識別
本稿は、従来の感情分析で用いられる限定的な感情ラベルセットの限界に対処するため、感情状態識別(ASI) という新しいタスクを提案する研究論文である。ASIは、人間の感情表現の多様性を捉えることを目的とし、テキストから広範囲な感情状態を識別するタスクである。
感情状態識別(ASI)の提案:
従来の感情分析では、Ekmanの基礎感情などの限られた感情カテゴリの識別に焦点が当てられてきたが、これらのカテゴリはテキストデータにおける感情表現の複雑さを十分に捉えきれていない。
本稿では、感情、気分、比喩的な表現など、人間が感情体験を記述するために使用するあらゆる用語を含む、実質的に無制限の感情状態のセットを考慮するASIを提案する。
MASIVEコーパスの構築:
Redditの投稿データを用い、英語とスペイン語でそれぞれ1,000を超えるユニークな感情状態ラベルを含む、ASIのための新しいベンチマークデータセットMASIVEを構築した。
ブートストラップ手法を用い、Ekmanの基礎感情を起点に、"I feel [感情] and..."のようなクエリを用いてReddit投稿を検索し、感情状態ラベルを自動的に抽出した。
データセットの妥当性を検証するため、人間による評価を行い、自動抽出したラベルの多くが実際に感情状態を反映していることを確認した。
多言語モデルの評価:
MASIVEを用いて、mT5、Llama-3、Mixtralなどの多言語言語モデルのASIタスクにおける性能を評価した。
その結果、小規模なfine-tunedモデルが、大規模なLLMよりも高い性能を示すことが明らかになった。
また、地域特有のスペイン語の感情状態を含むデータセットを用いて評価した結果、一般的な感情状態よりも低い性能を示したことから、地域特有の言語表現への対応の重要性が示唆された。
機械翻訳データの影響:
機械翻訳データを用いたfine-tuningや評価がASIタスクに与える影響を調査した。
その結果、機械翻訳データを用いると、ネイティブスピーカーによって作成されたオリジナルのテキストデータを用いた場合と比較して、性能が大幅に低下することが明らかになった。