核心概念
本研究では、リソース不足のアフリカ言語に対するCOMETメトリックの強化に取り組む。非専門家向けの簡略化されたMQMアノテーションガイドラインを作成し、13の言語を対象とした機械翻訳評価データセットAFRIMTEを作成した。さらに、リソース豊富な言語からの転移学習と、アフリカ言語に特化したマルチリンガルプリトレーンモデルを活用して、アフリカ言語の機械翻訳評価(AFRICOMET)とリファレンスフリーの品質推定(AFRICOMET-QE)のベンチマークシステムを構築した。
要約
本研究は、リソース不足のアフリカ言語に対するCOMETメトリックの強化に取り組んでいる。
まず、非専門家向けの簡略化されたMQMアノテーションガイドラインを作成した。これにより、翻訳の適切性と流暢性を評価するための簡単な手順を提供している。
次に、13の言語を対象とした機械翻訳評価データセットAFRIMTEを作成した。この中には、ダリア語-フランス語、英語-エジプト・アラビア語、英語-フランス語(コントロール言語ペア)、英語-ハウサ語、英語-イボ語、英語-キクユ語、英語-ルオ語、英語-ソマリ語、英語-スワヒリ語、英語-トウィ語、英語-isiXhosa、英語-ヨルバ語、ヨルバ語-英語の言語ペアが含まれている。
さらに、リソース豊富な言語からの転移学習と、アフリカ言語に特化したマルチリンガルプリトレーンモデルAfroXLM-Rを活用して、アフリカ言語の機械翻訳評価(AFRICOMET)とリファレンスフリーの品質推定(AFRICOMET-QE)のベンチマークシステムを構築した。
AFRICOMET-STLとAFRICOMET-MTLは、人間の評価と0.441のSpearman順位相関を示し、アフリカ言語の機械翻訳評価の新しい基準を示している。
AFRICOMET-QE-STLとAFRICOMET-QE-MTLは、リファレンスなしの品質推定タスクにおいて優れた性能を発揮し、GPT-4を大きく上回っている。これは、教師あり学習システムがクロス言語的な品質推定タスクに優れていることを示している。
統計
機械翻訳の適切性を示すDAスコアの中央値は、eng-xhoが100と最も高く、eng-swh が58.67と最も低かった。
機械翻訳の流暢性を示すDAスコアの中央値は、eng-xhoが100と最も高く、eng-swh が68.83と最も低かった。
適切性評価における最も一般的なエラーはミス翻訳であり、流暢性評価における最も一般的なエラーは不明瞭であった。