Wie Sprach-Modelle Wissen speichern und vergessen: Eine Untersuchung der Gedächtnismechanismen

Sprach-Modelle ohne Vortraining sind vergesslich und zeigen ein kurzfristiges Gedächtnismuster, während vortrainierte Sprach-Modelle ein retentives und langfristiges Gedächtnismuster aufweisen. Darüber hinaus beeinflussen die Relevanz und Diversität des neu erlernten Wissens die Gedächtnisbildung der vortrainierten Sprach-Modelle.