
ランダムに初期化されたターゲットエンベディングは、事前学習されたエンベディングと同等の、あるいはそれ以上の性能を発揮する。特に大規模データセットでは、ランダムエンベディングが優れた結果を示す。この効果は、まれな単語の予測性能の向上に起因する。


coremsg

ランダムターゲットエンベディングの非合理的な有効性-連続出力ニューラル機械翻訳


ランダムターゲットエンベディングの非合理的な有効性 - 連続出力ニューラル機械翻訳



LLMRefineは、大規模言語モデルの出力を細かなフィードバックに基づいて反復的に改善する手法である。学習済みのフィードバックモデルを使って出力の欠陥を特定し、それに基づいて言語モデルを段階的に改善する。



大規模言語モデルの精度向上のための細かな行動可能なフィードバックを活用する「LLMRefine」
