Core Concepts
Lebenslange Benchmarks bieten eine kostengünstige und effiziente Lösung für das Problem der Modellüberanpassung an statische Benchmarks.
Abstract
Standardisierte Benchmarks treiben den Fortschritt im maschinellen Lernen voran.
Lebenslange Benchmarks bieten eine Lösung für das Problem der Überanpassung an statische Benchmarks.
Sort & Search ermöglicht eine effiziente Bewertung von Modellen.
Die Studie zeigt extreme Kosteneffizienz und hohe Genauigkeit bei der Vorhersage von Modellleistungen.
Untersuchung von Designentscheidungen und deren Auswirkungen auf die Effizienz.
Stats
In unserer Arbeit stellen wir Lifelong-CIFAR10 und Lifelong-ImageNet vor, die jeweils 1,69 Millionen bzw. 1,98 Millionen Testproben enthalten.
Die Kosten für die Auswertung wurden von 180 GPU-Tagen auf 5 GPU-Stunden reduziert.
Die Modelle wurden auf über 31.000 Modelle getestet.
Quotes
"Lebenslange Benchmarks bieten eine robuste, praktische Lösung für das Problem der Überanpassung an statische Benchmarks."
"Sort & Search ermöglicht eine effiziente Bewertung von Modellen."