Die Studie untersucht die Auswirkungen von stochastischem Runden auf den kleinsten Singulärwert hochdimensionaler und schmaler Matrizen. Es wird gezeigt, dass stochastisches Runden mit hoher Wahrscheinlichkeit den kleinsten Singulärwert der gerundeten Matrix von Null entfernt, unabhängig davon, wie nahe die Originalmatrix an Rangdefizit ist oder sogar wenn sie rangdefizit ist. Dies liegt daran, dass der Rundungsfehler sich nicht in niedrigdimensionalen Teilräumen konzentriert.
Die Autoren leiten theoretische Schranken für den kleinsten Singulärwert der gerundeten Matrix her, die vom Aspektverhältnis der Matrix, der Mindeststreuung der Rundungsfehler und den Dimensionen der Matrix abhängen. Diese Schranken werden durch umfangreiche experimentelle Evaluierungen unterstützt.
Die Ergebnisse deuten darauf hin, dass stochastisches Runden als impliziter Regularisierer in modernen Anwendungen des Maschinellen Lernens, wie dem Training von Neuronalen Netzen und Sprachmodellen, dienen könnte und den Bedarf für explizite Regularisierung reduzieren könnte.
Ke Bahasa Lain
dari konten sumber
arxiv.org
Wawasan Utama Disaring Dari
by Gregory Dext... pada arxiv.org 03-20-2024
https://arxiv.org/pdf/2403.12278.pdfPertanyaan yang Lebih Dalam