Der Artikel präsentiert einen einheitlichen konzeptionellen Rahmen für zwei führende Methoden zum Editieren von Modellen - ROME und MEMIT. Beide Methoden optimieren dasselbe Ziel der "Erhaltung-Memorisierung", wobei ROME eine Gleichheitsbeschränkung für die Memorisierung verwendet, während MEMIT eine flexiblere Methode der kleinsten Quadrate verwendet.
Der Artikel zeigt auch, dass der Erfolg von MEMIT zum Teil auf seinen Algorithmen zur Verteilung der Editierungen auf mehrere Schichten zurückzuführen ist, die als separate Entitäten von den Optimierungszielen betrachtet werden sollten. Die Autoren stellen EMMET vor, einen neuen Algorithmus für batched-Editierung unter Verwendung der Gleichheitsbeschränkung, der mit MEMIT bis zu einer Batch-Größe von 256 konkurrenzfähig ist.
toiselle kielelle
lähdeaineistosta
arxiv.org
Tärkeimmät oivallukset
by Akshat Gupta... klo arxiv.org 03-22-2024
https://arxiv.org/pdf/2403.14236.pdfSyvällisempiä Kysymyksiä