Основные понятия
Ein einheitlicher Rahmen für das Editieren von Modellen, der die Erhaltung von Repräsentationen ausgewählter Vektoren und das Erlernen neuer Fakten in einem Optimierungsziel vereint.
Аннотация
Der Artikel präsentiert einen einheitlichen konzeptionellen Rahmen für zwei führende Methoden zum Editieren von Modellen - ROME und MEMIT. Beide Methoden optimieren dasselbe Ziel der "Erhaltung-Memorisierung", wobei ROME eine Gleichheitsbeschränkung für die Memorisierung verwendet, während MEMIT eine flexiblere Methode der kleinsten Quadrate verwendet.
Der Artikel zeigt auch, dass der Erfolg von MEMIT zum Teil auf seinen Algorithmen zur Verteilung der Editierungen auf mehrere Schichten zurückzuführen ist, die als separate Entitäten von den Optimierungszielen betrachtet werden sollten. Die Autoren stellen EMMET vor, einen neuen Algorithmus für batched-Editierung unter Verwendung der Gleichheitsbeschränkung, der mit MEMIT bis zu einer Batch-Größe von 256 konkurrenzfähig ist.
Статистика
Die Erhaltung der Repräsentationen ausgewählter Eingangsvektoren vor und nach dem Editieren ist ein wichtiges Ziel.
Das Memorisieren neuer Fakten, die durch Schlüssel-Wert-Paare dargestellt werden, ist ebenfalls ein wichtiges Ziel.
Die Editierungen können entweder sequenziell oder in Batches durchgeführt werden.
Цитаты
"Unser Ziel ist es dann, die Repräsentationen ausgewählter Eingangsvektoren vor und nach dem Editieren zu erhalten, oder anders ausgedrückt, den Fehler zwischen W0k0 und ˆWk0 zu minimieren, während gleichzeitig die Ausgaberepräsentation des Vektors ke auf ve gezwungen wird, oder anders ausgedrückt - den durch (ke, ve) dargestellten Fakt zu memorieren."
"MEMIT optimiert eine relaxierte Version desselben Ziels: argminˆW λ|| ˆWK0 −W0K0|| + || ˆWKE −VE||, wobei die Memorisierung als Least-Square-Ziel formuliert wird."