Trainieren vollständig verbundener neuronaler Netze ist ∃R-vollständig

Основные понятия

Das Trainieren vollständig verbundener zweischichtiger neuronaler Netze ist ∃R-vollständig, selbst wenn es nur zwei Eingabe- und zwei Ausgabeneuronen gibt, die Anzahl der Datenpunkte linear in der Anzahl der versteckten Neuronen ist, es nur 13 verschiedene Etiketten gibt, der Zielfehlerwert 0 ist und die ReLU-Aktivierungsfunktion verwendet wird.

Аннотация

Die Studie untersucht die Komplexität des Trainierens vollständig verbundener zweischichtiger neuronaler Netze. Das Hauptergebnis ist, dass das zugehörige Entscheidungsproblem ∃R-vollständig ist, d.h. polynomial-äquivalent zum Bestimmen, ob ein multivariate Polynomfunktion mit ganzzahligen Koeffizienten reelle Wurzeln hat. Darüber hinaus wird bewiesen, dass algebraische Zahlen beliebig hohen Grades als Gewichte erforderlich sind, um einige Instanzen optimal trainieren zu können, selbst wenn alle Datenpunkte rational sind.
Das Ergebnis gilt bereits für vollständig verbundene Instanzen mit zwei Eingängen, zwei Ausgängen und einer versteckten Schicht von ReLU-Neuronen. Damit wird ein Ergebnis von Abrahamsen, Kleist und Miltzow gestärkt. Eine Konsequenz davon ist, dass ein kombinatorischer Suchalgorithmus wie der von Arora, Basu, Mianjy und Mukherjee für Netze mit mehr als einer Ausgabedimension unmöglich ist, es sei denn, NP = ∃R.

Статистика

Es gibt Trainingsinstanzen, für die alle globalen Optima irrationale Gewichte oder Verzerrungen erfordern, selbst wenn alle Datenpunkte integral sind.

Цитаты

"Das Trainieren vollständig verbundener zweischichtiger neuronaler Netze ist ∃R-vollständig, selbst wenn es nur zwei Eingabe- und zwei Ausgabeneuronen gibt, die Anzahl der Datenpunkte linear in der Anzahl der versteckten Neuronen ist, es nur 13 verschiedene Etiketten gibt, der Zielfehlerwert 0 ist und die ReLU-Aktivierungsfunktion verwendet wird."
"Eine Konsequenz davon ist, dass ein kombinatorischer Suchalgorithmus wie der von Arora, Basu, Mianjy und Mukherjee für Netze mit mehr als einer Ausgabedimension unmöglich ist, es sei denn, NP = ∃R."

Ключевые выводы из

Training Fully Connected Neural Networks is $\exists\mathbb{R}$-Complete

by Daniel Berts... в arxiv.org 03-25-2024

https://arxiv.org/pdf/2204.01368.pdf

Дополнительные вопросы

Wie könnte man eine Approximationsversion des Neuronale-Netz-Trainings-Problems in NP platzieren

Um eine Approximationsversion des Neuronale-Netz-Trainings-Problems in NP zu platzieren, könnte man eine Variante des Problems betrachten, bei der nicht alle Datenpunkte exakt passen müssen, sondern nur innerhalb einer bestimmten Toleranzgrenze. Dies würde bedeuten, dass anstelle einer exakten Passung nur eine Näherungslösung erforderlich ist.
Eine Möglichkeit, dies zu erreichen, wäre die Einführung einer Fehlerfunktion, die angibt, wie gut die Vorhersagen des neuronalen Netzwerks mit den tatsächlichen Daten übereinstimmen. Das Ziel wäre es dann, ein neuronales Netzwerk zu trainieren, das diese Fehlerfunktion minimiert, anstatt eine exakte Passung zu erzielen. Durch die Einführung einer Toleranz für den Fehler könnte das Problem in NP eingestuft werden, da es dann möglich wäre, in polynomieller Zeit zu überprüfen, ob eine Lösung innerhalb der vorgegebenen Toleranzgrenze liegt.

Wie komplex ist das Training vollständig verbundener zweischichtiger neuronaler Netze mit nur einer Ausgabedimension

Das Training vollständig verbundener zweischichtiger neuronaler Netze mit nur einer Ausgabedimension ist im Allgemeinen in NP, da es möglich ist, das Problem in polynomieller Zeit zu lösen. Dies wurde durch den Algorithmus von Arora, Basu, Mianjy und Mukherjee gezeigt, der in der Lage ist, das Problem für diese spezielle Konfiguration von neuronalen Netzen zu lösen.
Die Komplexität des Problems ändert sich jedoch, wenn mehrere Ausgabedimensionen hinzugefügt werden. In dem gegebenen Kontext wurde gezeigt, dass das Problem ∃R-vollständig wird, wenn mehr als eine Ausgabedimension vorhanden ist. Dies bedeutet, dass das Training von neuronalen Netzen mit mehreren Ausgabedimensionen schwieriger ist und über die Komplexität von NP hinausgeht.

Welche zusätzlichen Annahmen könnten es ermöglichen, gute Heuristiken (möglicherweise sogar mit Leistungsgarantien) für andere ∃R-vollständige Probleme zu erhalten

Um gute Heuristiken für andere ∃R-vollständige Probleme zu erhalten, könnten zusätzliche Annahmen oder Einschränkungen hilfreich sein. Ein Ansatz könnte darin bestehen, spezifische Strukturen oder Muster in den Daten zu nutzen, um die Suche nach einer Lösung zu erleichtern. Dies könnte beinhalten, dass die Daten bestimmten Verteilungen folgen oder dass bestimmte Beziehungen zwischen den Datenpunkten bestehen.
Eine weitere Möglichkeit wäre die Verwendung von Approximationsalgorithmen, die in der Lage sind, gute Lösungen mit einer gewissen Garantie zu liefern. Diese Algorithmen könnten auf spezifische Eigenschaften der ∃R-vollständigen Probleme zugeschnitten sein und so effizientere Lösungen ermöglichen. Durch die Kombination von Heuristiken und Approximationsalgorithmen könnten bessere Ergebnisse erzielt werden, selbst für schwierige ∃R-vollständige Probleme.