Dieser Artikel untersucht die Möglichkeit, mehrere mathematische Operationen (wie Integration, Differentiation, Addition, Subtraktion, Multiplikation und Division) in einem einzigen latenten Raum zu approximieren und zu kombinieren, um Ausdrucksableitungen zu ermöglichen.
Es werden verschiedene Repräsentationsparadigmen (Projektion und Translation) und Kodierungsmechanismen (Graph-basierte Netzwerke, CNN, RNN, Transformer) untersucht. Die Autoren analysieren den Trade-off zwischen der Kodierung verschiedener mathematischer Operatoren und der Spezialisierung innerhalb einzelner Operationen, sowie die Fähigkeit, Mehrschritt-Ableitungen und Out-of-Distribution-Generalisierung zu unterstützen.
Die Ergebnisse zeigen, dass das Translationsparadigma zu einer feinkörnigeren und gleichmäßigeren Optimierung des latenten Raums führt, was die Leistung bei der Querschnitts-Inferenz verbessert und eine ausgewogenere Integration ermöglicht. Bei den Kodierern erzielen sequenzielle Modelle wie LSTMs robustere Leistungen bei Mehrschritt-Ableitungen, während Graph-basierte Modelle wie GCNs eine bessere Generalisierung auf Out-of-Distribution-Beispiele aufweisen.
To Another Language
from source content
arxiv.org
Deeper Inquiries