FTTN: Feature-Targeted Testing for Numerical Properties of NVIDIA & AMD Matrix Accelerators
Core Concepts
NVIDIA and AMD matrix accelerators exhibit feature differences that can significantly impact numerical results, necessitating precise testing methodologies.
Abstract
NVIDIA Tensor Cores and AMD Matrix Cores are crucial for high-performance computing and machine learning due to their efficiency. However, the lack of documented information on key attributes like subnormal support, rounding modes, and extra precision bits poses challenges for porting codes across different GPUs. This paper introduces a collection of tests based on IEEE floating-point standards to uncover feature discrepancies between GPUs. By running these tests on various GPUs, the study reveals significant differences in computed results due to varying features across different floating-point formats and rounding modes. The research also demonstrates how a simple matrix-multiplication test produced diverse outcomes on different platforms, emphasizing the importance of understanding Matrix Accelerator features before code porting. The study highlights the need for straightforward tests to detect salient feature differences between GPUs efficiently.
Translate Source
To Another Language
Generate MindMap
from source content
FTTN
Stats
NVIDIA Tensor CoresとAMD Matrix Coresは、高性能コンピューティングや機械学習において効率的で重要です。
しかし、サブノーマルサポートや丸めモード、余分な精度ビットなどの主要属性に関する文書化された情報の欠如が、異なるGPU間でコードを移植する際に課題を引き起こします。
この論文では、IEEE浮動小数点規格に基づいたテストのコレクションを紹介し、異なるGPU間での特徴の不一致を明らかにします。
これらのテストをさまざまなGPUで実行することで、異なる浮動小数点フォーマットや丸めモードによる特徴の違いが計算結果に与える影響が明らかになります。
研究はまた、異なるプラットフォームで異なる結果を生み出す単純な行列乗算テストがどのように行われたかを示し、コード移植前にMatrix Acceleratorの特徴を理解する重要性を強調しています。
研究は、効率的にGPU間で顕著な特徴の違いを検出するための簡単なテストの必要性を強調しています。
Quotes
"Unfortunately, very few facts are publicly documented about some of their attributes that can affect answers computed on identical code."
"We demonstrate that the lack of information on how these features differ across two matrix accelerators can make it impossible to reliably port codes across GPUs containing these differing accelerators."
"There is no prior work that shows that a simple test like this can produce three different answers on five different platforms—raising concern that one carefully understand Matrix Accelerator features before porting code across them."
Deeper Inquiries
質問1
製造業者は、異なる世代のGPUモデル間で数値挙動の一貫性を確保するためにどのような手段を講じることができますか？
製造業者は、異なる世代のGPUモデル間で数値挙動の一貫性を確保するために次の方法を取ることができます：
ドキュメント化された設計仕様: 各GPUモデルに関して、数値演算や浮動小数点演算に関する正確な仕様書を作成し、公開します。これにより、プログラマーや開発者が各モデル間で予測可能な結果を期待しやすくなります。
テストスイートの導入: 数値特性や浮動小数点演算処理に焦点を当てた包括的なテストスイートを開発し、新しいGPUモデルがリリースされる前に厳格なテストプロセスを実施します。これにより、重要な特徴差異や挙動変化が早期段階で検出されます。
フォーマットおよび規則遵守: IEEE浮動小数点規格や他の産業標準規格への準拠を強調し、各世代間で共通したフォーマットおよび処理規則を維持します。これは予測可能性と信頼性向上につながります。
質問2
計算結果の相違点が行列乗算ルーチンに依存するアプリケーションに与える影響は何ですか？
計算結果の相違点は以下の影響を持ち得ます：
アプリケーション精度への直接的影響: 行列乗算結果から生じる微細だけれども重要な差異は、アプリケーション全体または特定部分内でエラーまたは不整合性引き起こす可能性があります。例えば、「Generalized Minimal Residual Method」（GMRES）反復修正アルゴリズムではこのパターン利用されています。
ポーティング戦略へ対応： 異種GPU間でも同等精度・安定した結果得られる必要あった場合（例えばHPCコード移行時）、この相違事象考慮しないとポーティング失敗率高まり得ます。
信頼度低下： アプリケーション内部また外部報告情報・意思決定基盤建設時不整合現象発生恐れ有り。その場合シビア後始末措置必要です。
質問3
形式手法技術進展如何硬件装置単位特徴差別力高め堅牢試験方法開発支援効能具体的見込み
形式手法技術進展次第以下効能具体見込み：
厚密試験フレーム提供： 形式手法使用して硬件装置単位特徴差別力高め堅牢試験フレーム提供可能. それらフレーム使ってグルッペ自身試験内容チェック, 勘所把握, 情報交流促進.
傍証明付加価値増大： 形式手法利用して追加傍証明生成容易. 特殊条件下解析深さ増大, テストカバレッジ広範囲及ぶ. よって積層防護策立案容易.
未知パターン捉捉： 新型パターントランジショニング/エラー原因突出/再現難題解消等多岐目指せ. 高品質製品提供道筋示唆.
以上
