Основные понятия
クエリの期限内に処理を完了しつつ、計算コストを最小化するスケジューリング手法を提案する。
Аннотация
本論文では、ストリーミング処理において、クエリの期限内に処理を完了しつつ、計算コストを最小化するスケジューリング手法を提案している。
主な内容は以下の通り:
-
単一クエリのスケジューリング:
- クエリの期限内に処理を完了しつつ、計算コストを最小化するスケジューリング手法を提案。
- 期限に余裕がある場合は一括処理、期限が厳しい場合は複数のバッチ処理を行う。
- 最適なバッチサイズを決定するための制約式ベースのアプローチも提案。
-
複数クエリのスケジューリング:
- 新規クエリの追加や削除が動的に行われる環境を想定。
- 各クエリの期限を満たしつつ、全体の計算コストを抑えるスケジューリング手法を提案。
- 最小バッチサイズを決定し、最短余裕時間優先(LLF)スケジューリングを行う。
-
提案手法の実装と評価:
- Apache Sparkの上に構築したカスタムクエリスケジューラに提案手法を実装。
- TPC-H ベンチマークデータを用いた実験により、従来手法と比べて大幅な性能向上を確認。
Статистика
提案手法では、クエリの期限内に処理を完了しつつ、計算コストを従来手法と比べて大幅に削減できる。
単一クエリの場合、提案手法は最適なバッチサイズを決定できる。
複数クエリの場合、提案手法は各クエリの期限を満たしつつ、全体の計算コストを抑えられる。
Цитаты
"クエリの結果は期限内にのみ必要とされるため、タプルを大きなバッチで処理することができる。"
"提案手法では、期限内に処理を完了しつつ、計算コストを最小化することができる。"
"提案手法は、ストリーミングエンジンで発生する可能性のある メモリ不足の問題を回避できる。"