本研究では、音響イベント検出システムに用いられるさまざまなニューラルネットワークアーキテクチャ(MLP、CNN、RNN、CRNN)について、学習と推論のエネルギー消費を分析した。
まず、推論フェーズでは、FLOPsと消費エネルギーの関係に一定の傾向が見られたが、パラメータ数との関係は明確ではなかった。特にCNNとCRNNでは、FLOPsやパラメータ数とエネルギー消費の関係が複雑であった。
次に、学習フェーズでは、MLP/RNNとCNN/CRNNで明確に異なる傾向が観察された。MLP/RNNではFLOPsとエネルギー消費の関係がほぼ線形だったのに対し、CNN/CRNNではより複雑な関係が見られた。これは、アーキテクチャの違いによる計算パターンの差異が影響していると考えられる。
また、学習時のエネルギー消費は推論時よりも全体的に高く、特にMLP/RNNでその傾向が顕著だった。一方、CNN/CRNNではその差が小さかった。
さらに、GPUの利用率とエネルギー消費の間には強い相関が見られたが、メモリ利用率との関係は複雑であった。
以上の結果から、ニューラルネットワークのエネルギー消費を推定する際は、単純なFLOPsやパラメータ数では不十分で、アーキテクチャの特性を考慮する必要があることが分かった。一方で、GPUの利用率は有効な指標となる可能性が示された。今後は、より高度なモデルや学習手法についても同様の分析を行い、グリーンAIの実現につなげていくことが重要である。
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Constance Do... a las arxiv.org 09-10-2024
https://arxiv.org/pdf/2409.05080.pdfConsultas más profundas