Core Concepts
低リソース言語対におけるポインター・ジェネレーターネットワークの効果は限定的であり、実践的な性能は制限されている。
Abstract
トランスフォーマーベースのニューラル機械翻訳(NMT)は高リソース環境で非常に効果的であるが、低リソース状況では性能が低下する。
ポインタージェネレーターネットワーク(PGNs)を6つの言語ペアに適用し、多くの設定でわずかな改善が見られた。
PGNは予想されたソースとターゲット間の共有サブワードから利益を得ていないことが分析から明らかになった。
ポインタージェネレーターメカニズムは直感的な理論的ショートカットを提供するが、実際のパフォーマンスは制限されている。
導入と動機
トランスフォーマーモデルは高リソース言語ペア向けにうまく機能するが、低リソース状況では性能が低下する。
低リソースNMT向けに単純なアーキテクチャメカニズムを開発する魅力がある。
モデル
PGNモデルは、出力トークンごとに入力からトークンをコピーしたり、通常どおり語彙からトークンを生成したりする2つの経路を提供する。
実験
WikiMatrixコーパスやCVIT-PIBコーパスなどさまざまなデータセットと言語を使用して実験を行った。
全体的に弱い改善傾向が見られたものの、PGNは期待通りに働いていないことが示唆された。
Stats
大きな平行コーパスが必要不可欠であること (1M in Zhang et al. (2021))
最大リソース設定0.06Mで比較可能性が制限されていること
Quotes
"ポインタージェネレーターメカニズムは直感的な理論的ショートカットを提供する"
"PGNメカニズムは予想通りに動作しておらず、その原因を考察しています"