Die Studie untersucht den Zusammenhang zwischen Leistung und Ressourcenverbrauch von 131 verschiedenen Deep-Learning-Modellen für Bildklassifikationsaufgaben in medizinischen Anwendungen. Die Ergebnisse zeigen, dass kleine Modelle mit geringerem Ressourcenverbrauch eine bessere Leistung pro Ressourceneinheit (PePR-Score) erzielen als große Modelle. Dies gilt insbesondere in Situationen mit begrenzten Ressourcen, wie z.B. weniger Trainingsdaten oder geringere Rechenleistung.
Die Autoren argumentieren, dass der derzeitige Fokus auf reine Leistungsmetriken ohne Berücksichtigung des Ressourcenverbrauchs zu immer größeren und ressourcenintensiveren Deep-Learning-Modellen führt. Dies kann den Zugang zu dieser Technologie erschweren und negative Auswirkungen auf die Umwelt haben. Stattdessen sollte der Schwerpunkt darauf liegen, Methoden und Modelle mit einem kleineren Ressourcenfußabdruck zu entwickeln, um den Zugang zu verbessern und die Umweltauswirkungen zu reduzieren.
Die Studie zeigt, dass die Verwendung von Vortrainingsmodellen sowie die Anpassung an kleine Datensätze signifikante Leistungsverbesserungen bringen können, ohne den Ressourcenverbrauch stark zu erhöhen. Darüber hinaus führt die Einführung des PePR-Scores, der Leistung und Ressourcenverbrauch gemeinsam berücksichtigt, zu einer besseren Charakterisierung des Verhaltens von kleinen und großen Deep-Learning-Modellen.
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Raghavendra ... a las arxiv.org 03-20-2024
https://arxiv.org/pdf/2403.12562.pdfConsultas más profundas