Kernkonzepte
ランダムに初期化されたターゲットエンベディングは、事前学習されたエンベディングと同等の、あるいはそれ以上の性能を発揮する。特に大規模データセットでは、ランダムエンベディングが優れた結果を示す。この効果は、まれな単語の予測性能の向上に起因する。
Zusammenfassung
本研究では、連続出力ニューラル機械翻訳(CoNMT)モデルにおいて、ランダムに初期化されたターゲットエンベディングの性能を事前学習エンベディングと比較している。
実験結果は以下の通り:
ランダムエンベディングは、事前学習エンベディングと同等の、あるいはそれ以上の性能を発揮する。特に大規模データセットでその傾向が強い。
この効果は、まれな単語の予測性能の向上に起因する。まれな単語のエンベディングは、事前学習エンベディングでは近接単語と高い類似度を示すが、ランダムエンベディングではそうではない。
ランダムエンベディングとの組み合わせによって、頻出単語と希少単語の両方の性能を向上させることができる。
本研究の知見は、エンベディング空間の幾何学的特性が重要であり、意味情報の統合には慎重を要することを示唆している。
Statistiken
まれな単語ほど、事前学習エンベディングの近接単語も同様にまれな単語となる傾向がある。
ランダムエンベディングでは、単語頻度に関わらず近接単語との類似度は一定である。
Zitate
"ランダムに初期化されたターゲットエンベディングは、事前学習されたものと同等の、あるいはそれ以上の性能を発揮する。特に大規模データセットでその傾向が強い。"
"この効果は、まれな単語の予測性能の向上に起因する。まれな単語のエンベディングは、事前学習エンベディングでは近接単語と高い類似度を示すが、ランダムエンベディングではそうではない。"