Dieser Artikel behandelt das Problem des Lernens unendlich-dimensionaler Funktionen aus endlichen Daten. Es werden zunächst die Motivation und Herausforderungen dieses Problems erläutert, insbesondere im Kontext parametrischer Modelle und Unsicherheitsquantifizierung. Anschließend wird die Klasse der (b,ε)-holomorphen Funktionen eingeführt, die für viele parametrische Differentialgleichungen relevant ist.
Es wird gezeigt, dass die beste s-Term-Polynomapproximation dieser Funktionen algebraisch schnell konvergiert. Allerdings gibt es fundamentale Grenzen der Lernbarkeit aus endlichen Daten - es ist unmöglich, Funktionen aus der Klasse H(p) mit einer Rate zu lernen, die besser ist als die Rate der besten s-Term-Approximation.
Um diese Lücke zu schließen, werden zwei Lernmethoden betrachtet: Zum einen das Lernen von spärlichen Polynomapproximationen aus Daten, das nahezu optimale Raten erreicht. Zum anderen wird eine "praktische Existenztheorie" für tiefe neuronale Netze entwickelt, die ebenfalls nahezu optimale Raten liefert. Abschließend werden die Erkenntnisse und der verbleibende Theorie-Praxis-Gap diskutiert.
Vers une autre langue
à partir du contenu source
arxiv.org
Questions plus approfondies