Die Studie untersucht die Auswirkungen von stochastischem Runden auf den kleinsten Singulärwert hochdimensionaler und schmaler Matrizen. Es wird gezeigt, dass stochastisches Runden mit hoher Wahrscheinlichkeit den kleinsten Singulärwert der gerundeten Matrix von Null entfernt, unabhängig davon, wie nahe die Originalmatrix an Rangdefizit ist oder sogar wenn sie rangdefizit ist. Dies liegt daran, dass der Rundungsfehler sich nicht in niedrigdimensionalen Teilräumen konzentriert.
Die Autoren leiten theoretische Schranken für den kleinsten Singulärwert der gerundeten Matrix her, die vom Aspektverhältnis der Matrix, der Mindeststreuung der Rundungsfehler und den Dimensionen der Matrix abhängen. Diese Schranken werden durch umfangreiche experimentelle Evaluierungen unterstützt.
Die Ergebnisse deuten darauf hin, dass stochastisches Runden als impliziter Regularisierer in modernen Anwendungen des Maschinellen Lernens, wie dem Training von Neuronalen Netzen und Sprachmodellen, dienen könnte und den Bedarf für explizite Regularisierung reduzieren könnte.
To Another Language
from source content
arxiv.org
Ключові висновки, отримані з
by Gregory Dext... о arxiv.org 03-20-2024
https://arxiv.org/pdf/2403.12278.pdfГлибші Запити