Die Studie untersucht den Zusammenhang zwischen Leistung und Ressourcenverbrauch von 131 verschiedenen Deep-Learning-Modellen für Bildklassifikationsaufgaben in medizinischen Anwendungen. Die Ergebnisse zeigen, dass kleine Modelle mit geringerem Ressourcenverbrauch eine bessere Leistung pro Ressourceneinheit (PePR-Score) erzielen als große Modelle. Dies gilt insbesondere in Situationen mit begrenzten Ressourcen, wie z.B. weniger Trainingsdaten oder geringere Rechenleistung.
Die Autoren argumentieren, dass der derzeitige Fokus auf reine Leistungsmetriken ohne Berücksichtigung des Ressourcenverbrauchs zu immer größeren und ressourcenintensiveren Deep-Learning-Modellen führt. Dies kann den Zugang zu dieser Technologie erschweren und negative Auswirkungen auf die Umwelt haben. Stattdessen sollte der Schwerpunkt darauf liegen, Methoden und Modelle mit einem kleineren Ressourcenfußabdruck zu entwickeln, um den Zugang zu verbessern und die Umweltauswirkungen zu reduzieren.
Die Studie zeigt, dass die Verwendung von Vortrainingsmodellen sowie die Anpassung an kleine Datensätze signifikante Leistungsverbesserungen bringen können, ohne den Ressourcenverbrauch stark zu erhöhen. Darüber hinaus führt die Einführung des PePR-Scores, der Leistung und Ressourcenverbrauch gemeinsam berücksichtigt, zu einer besseren Charakterisierung des Verhaltens von kleinen und großen Deep-Learning-Modellen.
Naar een andere taal
vanuit de broninhoud
arxiv.org
Belangrijkste Inzichten Gedestilleerd Uit
by Raghavendra ... om arxiv.org 03-20-2024
https://arxiv.org/pdf/2403.12562.pdfDiepere vragen