Core Concepts
Eine neuartige decoder-fokussierte Methode für Multi-Task Dichte Vorhersage, genannt Mixture-of-Low-Rank-Experts (MLoRE), die globale Beziehungen zwischen allen Aufgaben explizit modelliert und die Kapazität der Merkmalsdarstellung durch eine effiziente Erhöhung der Anzahl der Experten erweitert.
Abstract
Der Artikel präsentiert eine neuartige Methode für Multi-Task Dichte Vorhersage, genannt Mixture-of-Low-Rank-Experts (MLoRE). Im Gegensatz zu früheren Methoden, die auf der Mischung von Experten (MoE) basieren, modelliert MLoRE explizit die globalen Beziehungen zwischen allen Aufgaben, indem es einen generischen Konvolutionsweg hinzufügt. Außerdem verwendet MLoRE eine niedrigrangige Struktur für die Expertennetzwerke, um die Parameterzahl und den Rechenaufwand bei einer Erhöhung der Expertenanzahl gering zu halten. Durch diese Designentscheidungen kann MLoRE die Repräsentationskapazität erweitern, ohne den Modellumfang stark zu erhöhen. Umfangreiche Experimente auf den PASCAL-Context und NYUD-v2 Datensätzen zeigen, dass MLoRE im Vergleich zu früheren State-of-the-Art-Methoden in allen Metriken überlegen ist.
Stats
Die Anzahl der Parameter und FLOPs für verschiedene Einstellungen in der Standard-MoE und dem vorgeschlagenen MLoRE sind in Tabelle 1 dargestellt.
Quotes
Keine relevanten Zitate gefunden.