Azure コアワークロードインサイトにおける重要な障害検出

Kernekoncepter

Azure コアワークロードインサイトのデータにおいて、ユーザーが容易に認識できる重要な障害を自動的に特定する。

Resumé

本論文では、Azure コアワークロードインサイトのデータに含まれる時系列データの中から、ユーザーが容易に認識できる重要な障害を自動的に検出する手法を提案している。

まず、Microsoft の Anomaly Detection as a Service (ADaaS) を基盤とし、データの前処理や閾値設定などの改善を行った Enhanced ADaaS を開発した。さらに、Extreme Value Theory (EVT) を組み合わせることで、より重要度の高い障害のみを検出することができるようになった。

具体的には、Enhanced ADaaS では、データの前処理に中央値補完を用いることで予測精度が向上し、閾値を 99.998% に設定することで障害検出数を大幅に削減できた。さらに、EVT を組み合わせることで、高い再構成誤差を持つ重要な障害のみを検出することができるようになった。

提案手法を Azure コアワークロードインサイトのデータ、および電力消費量データと株価変動データの2つのベンチマークデータセットに適用した結果、従来手法と比べて高い精度と再現率で重要な障害を検出できることを示した。

本手法は、Azure サービスの一部として実装されており、ユーザーの作業負荷を大幅に軽減することが期待できる。今後は、マルチバリエイト解析への拡張や、より効率的な計算処理の実現などに取り組む予定である。

Statistik

Azure リソースの CPU 使用率などのメトリクスは、クラスター、サーバー、ポッド、DB などの多数の次元を持つ
1時間あたり約 180,000 のデータポイントを処理し、そのうち 149 の異常を検出した
提案手法では、これらの 149 の異常のうち 8 つの重要な異常を特定した

Citater

"Azure コアワークロードインサイトのデータには、メトリック名、リージョン、ディメンション、ディメンション値に関する障害が観察される"
"報告される異常の数は非常に重要であり、1時間あたり5~20件程度に限定する必要がある"
"報告される異常は、ユーザーの認知に適合し、時系列予測モデルの再構成誤差が高いものでなければならない"

Vigtigste indsigter udtrukket fra

High Significant Fault Detection in Azure Core Workload Insights

by Pranay Lohia... kl. arxiv.org 04-16-2024

https://arxiv.org/pdf/2404.09302.pdf

Dybere Forespørgsler

質問1

本手法は、Azureコアワークロードインサイトの障害検出に焦点を当てていますが、他のデータ分析タスクにも適用できる可能性があります。例えば、製造業における機械の故障予測や金融業界における不正取引の検出など、さまざまな分野で異常検出が重要です。この手法は、異常を検出し、重要な情報をユーザーに提示する能力を持っているため、他の分野でも有用性が期待されます。

質問2

本手法は、高い再構築誤差を持つ重要な異常のみを検出していますが、軽微な異常を見逃している可能性があります。軽微な異常を活用する方法として、軽微な異常を集約してトレンドやパターンを分析し、将来のより重要な異常を予測するモデルを構築することが考えられます。また、軽微な異常を無視せずに記録し、将来のモデルの改善やトレーニングデータとして活用することも有効なアプローチです。

質問3

本手法は主に時系列データを対象としていますが、静的なデータセットにも適用できるよう拡張することが可能です。静的データセットに適用する際には、時系列データの時間軸を考慮せずにデータポイント間の関係性やパターンを分析する方法を導入する必要があります。さらに、静的データセットにおいても異常検出やパターン認識の手法を適用することで、新たな洞察や予測モデルの構築に役立てることができます。