Trinity上でのマシンラーニング、プロキシアプリケーション、スケジューリング優先順位を活用したパフォーマンス最適化

Core Concepts

Trinity上の計算ノードの性能差を特定し、機械学習とプロキシアプリケーションを活用して、パフォーマンスの低い計算ノードの影響を最小限に抑え、クラスターの効率を高める。

Abstract

本論文では、Trinity上のパフォーマンス最適化のプロセスについて説明する。
まず、Trinity上の9,400以上の計算ノードの中で、パフォーマンスの低い計算ノードを特定するために、以下の取り組みを行った:

4種類のテスト(CPUスピード、メモリスピード、I/Oシステム、ノード間通信)を実施し、kMeansクラスタリングアルゴリズムを使ってパフォーマンスの低い計算ノードを特定した。その結果、CPUスピードに大きなばらつきがあることが分かった。

標準的なHPLベンチマークでは4時間以上かかるため、短時間で実行できるプロキシアプリケーションを開発した。OpenMPとMPIを使った10種類のアプリケーションを作成し、それぞれのパフォーマンス分布を分析した。

プロキシアプリケーションの結果とHPLの結果を線形回帰分析し、HPLの平均パフォーマンスを予測する式を導出した。さらに、マハラノビス距離を使ってアウトライアーを特定した。

機械学習手法(ランダムフォレスト、ブースティング、ニューラルネットワーク)を適用し、アウトライアーの特定精度を高めた。

最後に、パフォーマンスの低い計算ノードへの対策として、トリミング、交換、優先度の低い処理への割り当てなどの方策を検討している。

Stats

Trinity上の9,327台の計算ノードのうち、HPLの平均パフォーマンスから3.5標準偏差以下の12台がアウトライアーとして特定された。
マハラノビス距離を使うと、33台のアウトライアーのうち20台以上を特定できた。

Quotes

"Trinity上の計算ノードの数は増え続けており、クラスターの速度は最も遅い計算ノードによって制限される。そのため、遅い計算ノードを特定し、可能であれば性能を改善し、クリティカルな処理では遅い計算ノードの使用を最小限に抑えることが重要である。"
"HPLベンチマークは広く使われているが、大規模メモリを必要とするため、Trinity上の計算ノードでは4時間以上の実行時間を要する。そのため、HPLの結果を近似できる短時間で実行可能なプロキシアプリケーションの開発が必要である。"

Key Insights Distilled From

Optimizing Performance on Trinity Utilizing Machine Learning, Proxy Applications and Scheduling Priorities

by Phil Romero at arxiv.org 04-17-2024

https://arxiv.org/pdf/2404.10617.pdf

Deeper Inquiries

プロキシアプリケーションの開発では、どのようなアプローチが最も効果的だと考えられるか

プロキシアプリケーションの開発において、最も効果的なアプローチは、異なる性能指標を使用して複数のプロキシアプリケーションを開発し、それらの結果を比較することです。異なる性能テストを実行することで、ノードの性能を包括的に評価し、アウトライアーを特定することが可能となります。また、MPIやOpenMPなどの並列処理手法を活用して、ノードの性能を網羅的に評価することが重要です。さらに、ハードウェアの特性に合わせてアルゴリズムを最適化することで、より効果的なプロキシアプリケーションを開発することができます。

アウトライアーの特定に機械学習手法を適用する際の課題と解決策はどのようなものがあるか

アウトライアーの特定に機械学習手法を適用する際の課題として、クラスの不均衡や特徴空間の線形分離不可能性などが挙げられます。これらの課題に対処するためには、適切なサンプリング手法やクラス不均衡対策を導入することが重要です。また、異なる機械学習アルゴリズムやアンサンブル学習手法を組み合わせることで、より正確なアウトライアーの特定が可能となります。さらに、特徴量エンジニアリングや適切なモデル評価指標の選択も重要です。

Trinity以外のスーパーコンピューターにおいても、本手法は適用可能か

Trinityで使用されている手法は、他のスーパーコンピューターシステムにも適用可能ですが、各システムのハードウェア構成や性能特性に合わせて調整する必要があります。異なるスーパーコンピューターシステムにおいても、プロキシアプリケーションや機械学習手法を活用してノードの性能評価やアウトライアーの特定を行うことで、システム全体の効率向上や問題解決に貢献することが可能です。適用可能性を検討する際には、各システムの特性や要件に合わせて手法をカスタマイズすることが重要です。