Die Studie untersucht den Einfluss verschiedener Datentransformationen auf die Trainingsgeschwindigkeit neuronaler Felder. Es wird gezeigt, dass insbesondere das zufällige Vertauschen der Pixelpositionen (Random Pixel Permutation, RPP) eine konsistente Beschleunigung des Trainings um 8-50% ermöglicht, im Vergleich zum Training auf den Originaldaten.
Die Autoren analysieren dieses Phänomen genauer und stellen die Hypothese auf, dass RPP die leicht zu lernenden Muster in den Originaldaten entfernt, die zwar anfangs das Training erleichtern, aber später das Erreichen hoher Genauigkeit behindern. RPP-Bilder haben demnach eine gleichmäßigere Fehlerverteilung über die Pixel und keine klar erkennbaren Strukturen, wie sie beim Training auf Originaldaten auftreten können.
Konkret zeigen die Experimente:
Die Autoren sehen in dieser Arbeit einen Beweis dafür, dass man die Optimierungsverzerrung von SGD-Verfahren gezielt ausnutzen kann, um das Training neuronaler Felder zu beschleunigen. Sie diskutieren auch mögliche Anwendungen in Bereichen wie Datenkompression, wo eine hohe Trainingsgenauigkeit wichtiger ist als Generalisierungsfähigkeit.
Sang ngôn ngữ khác
từ nội dung nguồn
arxiv.org
Thông tin chi tiết chính được chắt lọc từ
by Junwon Seo,S... lúc arxiv.org 03-27-2024
https://arxiv.org/pdf/2311.17094.pdfYêu cầu sâu hơn