各テキストシーケンスに合わせた改善:大規模言語モデルにおける記憶データの忘却の向上

大規模言語モデルは訓練テキストシーケンスを記憶し、それらを文章生成時に逐語的に吐き出すことが知られている。このことは、プライバシーや著作権の問題の原因となる。モデルの有用性を損なわずに、これらの副作用に適切に対処するための新しいアルゴリズムを提案する。