Kernekoncepter
Optimierung von Spark-Parametern für Leistungssteigerung und Kosteneffizienz.
Resumé
Die Arbeit präsentiert einen Spark-Optimizer, der alle einstellbaren Parameter steuert, um die Leistung zu verbessern und die Kosten zu optimieren. Es wird eine hybride Kompilierungs- und Laufzeitoptimierung vorgeschlagen, um die Parameter feinkörnig anzupassen. Die Modelle für die Optimierung werden detailliert beschrieben und die Ergebnisse der Evaluierung mit TPC-H und TPC-DS Benchmarks werden präsentiert.
Abstract
- Automatische Anpassung von Spark-Parametern für Leistungssteigerung.
- Design eines Spark-Optimierers für adaptive Parameterabstimmung.
- Multi-Objekt-Optimierung für Benutzerpräferenzen.
Einführung
- Bedeutung der Parameterabstimmung für Big Data-Systeme.
- Adaptive Query Execution und Cloud-Einsatz.
- Motivation für die Arbeit an Spark-Parametern.
Herausforderungen
- Komplexe Steuerung eines gemischten Parameterbereichs.
- Zeitliche Einschränkungen für die Multi-Objekt-Optimierung.
Lösungsansatz
- Hybridansatz für feinkörnige Parameterabstimmung.
- Modellierung und Optimierungstechniken.
- Evaluationsergebnisse mit TPC-H und TPC-DS Benchmarks.
Statistik
Unsere Methode erreicht eine durchschnittliche Reduzierung der Latenz um 61% und 64% für TPC-H und TPC-DS.
Die Laufzeit der MOO-Methode beträgt 0,62-0,83 Sekunden im Vergleich zu 2,4-15 Sekunden bei anderen Methoden.
Citater
"Unsere Arbeit zielt darauf ab, einen Spark-Optimizer zu entwerfen, der alle einstellbaren Parameter steuert."
"Die Optimierung der Parameter beeinflusst die Leistung und die Kosten von Spark-Anwendungen."