Der Artikel präsentiert einen einheitlichen konzeptionellen Rahmen für zwei führende Methoden zum Editieren von Modellen - ROME und MEMIT. Beide Methoden optimieren dasselbe Ziel der "Erhaltung-Memorisierung", wobei ROME eine Gleichheitsbeschränkung für die Memorisierung verwendet, während MEMIT eine flexiblere Methode der kleinsten Quadrate verwendet.
Der Artikel zeigt auch, dass der Erfolg von MEMIT zum Teil auf seinen Algorithmen zur Verteilung der Editierungen auf mehrere Schichten zurückzuführen ist, die als separate Entitäten von den Optimierungszielen betrachtet werden sollten. Die Autoren stellen EMMET vor, einen neuen Algorithmus für batched-Editierung unter Verwendung der Gleichheitsbeschränkung, der mit MEMIT bis zu einer Batch-Größe von 256 konkurrenzfähig ist.
In eine andere Sprache
aus dem Quellinhalt
arxiv.org
Wichtige Erkenntnisse aus
by Akshat Gupta... um arxiv.org 03-22-2024
https://arxiv.org/pdf/2403.14236.pdfTiefere Fragen