本研究では、既存の機械翻訳モデルに加えて、入力の照応関係を予測するサブモデルを構築することで、文脈情報をより効果的に活用する手法を提案している。
具体的には以下の通り:
既存の機械翻訳モデルに加えて、入力の照応関係を予測するサブモデルを構築する。このサブモデルは、機械翻訳モデルの出力表現も利用して入力の照応関係を予測する。
機械翻訳タスクと照応関係予測タスクを多タスク学習の枠組みで同時に学習する。これにより、翻訳の決定を照応関係の情報を使って説明することができる。
WMT文書レベル翻訳タスクのEnglish-German、English-Russianデータセット、および多言語TEDトークデータセットを用いた実験で、既存の文脈に基づいた機械翻訳モデルと比較して1.0 BLEU以上の改善を示した。
分析の結果、提案手法の照応関係予測サブモデルが一貫して翻訳の質を向上させることが分かった。特に、文脈情報が増えるほど提案手法の有効性が高まることが示された。また、提案手法の自己注意ヒートマップと照応関係クラスターの強い相関が確認された。
다른 언어로
소스 콘텐츠 기반
arxiv.org
더 깊은 질문