Der Artikel präsentiert einen einheitlichen konzeptionellen Rahmen für zwei führende Methoden zum Editieren von Modellen - ROME und MEMIT. Beide Methoden optimieren dasselbe Ziel der "Erhaltung-Memorisierung", wobei ROME eine Gleichheitsbeschränkung für die Memorisierung verwendet, während MEMIT eine flexiblere Methode der kleinsten Quadrate verwendet.
Der Artikel zeigt auch, dass der Erfolg von MEMIT zum Teil auf seinen Algorithmen zur Verteilung der Editierungen auf mehrere Schichten zurückzuführen ist, die als separate Entitäten von den Optimierungszielen betrachtet werden sollten. Die Autoren stellen EMMET vor, einen neuen Algorithmus für batched-Editierung unter Verwendung der Gleichheitsbeschränkung, der mit MEMIT bis zu einer Batch-Größe von 256 konkurrenzfähig ist.
Til et andet sprog
fra kildeindhold
arxiv.org
Vigtigste indsigter udtrukket fra
by Akshat Gupta... kl. arxiv.org 03-22-2024
https://arxiv.org/pdf/2403.14236.pdfDybere Forespørgsler