Core Concepts
継続学習における対話生成の新しい手法を提案し、モデルの過適合を回避し、モード崩壊問題を軽減することで、言語モデルの忘却問題に取り組む。
Stats
リプレイメモリは以前のタスク/ドメインから部分的なシグナルしか提供しない場合がある。
Catastrophic forgettingは最新のタスク/ドメインへのモデル適応中に発生し、モード崩壊を引き起こす可能性がある。
バッチ内のサンプルは高度に不均衡であり、リプレイメモリからのサンプルが現在のタスク/ドメインと似ていることが問題となっている。
Quotes
"Text-Mixupは以前のタスク/ドメインから有用な知識を保持しつつ、限られたリプレイメモリでの過剰適合を防ぐ。"
"Batch-Nuclear Norm Maximizationはバッチ内表現多様性を改善し、このようにしてモード崩壊問題を軽減する。"