FTTN: Feature-Targeted Testing for Numerical Properties of NVIDIA & AMD Matrix Accelerators

Core Concepts

Matrix accelerators' feature differences can significantly impact numerical results, emphasizing the need for precise testing before porting code across GPUs.

Abstract

• NVIDIA Tensor Cores and AMD Matrix Cores are crucial for high-performance computing and machine learning.
• Lack of public documentation on key attributes like subnormal support and rounding modes can lead to result discrepancies.
• Testing methodology based on IEEE floating-point standard can reveal feature differences affecting numerical behavior.
• Results from tests on various GPUs show differences in subnormal support, extra bits, rounding modes, and FMA unit width.
• A simple matrix multiplication test across platforms produced varying results, highlighting the importance of understanding hardware-specific features.

Stats

NVIDIA의 V100, A100, AMD의 MI250X, MI100, H100은 모두 서브노멀 숫자를 처리함.
NVIDIA의 V100은 추가 비트를 사용하지 않음, A100은 1개, H100은 최소 2개의 추가 비트를 사용함.
모든 GPU 모델은 RTN-TE 라운딩 모드를 사용함.
NVIDIA의 V100은 FMA 유닛 폭이 4이고, A100은 8, H100은 최소 16임.
AMD MI100은 FP64를 지원하지 않음.

Quotes

"Unfortunately, very few facts are publicly documented about some of their attributes that can affect answers computed on identical code."
"We demonstrate that the lack of information on how these features differ across two matrix accelerators can make it impossible to reliably port codes across GPUs containing these differing accelerators."

Key Insights Distilled From

FTTN

by Xinyi Li,Ang... at arxiv.org 03-04-2024

https://arxiv.org/pdf/2403.00232.pdf

Deeper Inquiries

어떻게 제조업체는 다른 GPU 모델 간의 숫자적 행동 일관성을 보장할 수 있나요?

제조업체는 다른 GPU 모델 간의 숫자적 행동 일관성을 보장하기 위해 몇 가지 접근 방식을 채택할 수 있습니다. 먼저, IEEE 부동 소수점 표준을 준수하고 테스트를 통해 각 모델의 숫자적 특성을 명확히 이해하는 것이 중요합니다. 이를 통해 각 GPU 모델이 동일한 부동 소수점 연산 및 반올림 규칙을 준수하도록 보장할 수 있습니다. 또한, 제조사는 하드웨어 설계 및 구현 단계에서 숫자적 특성을 고려하여 일관성 있는 동작을 보장할 수 있습니다. 마지막으로, 엄격한 품질 관리 및 테스트 절차를 통해 각 GPU 모델이 예상대로 작동하는지 확인할 수 있습니다.

어떤 코드를 이식할 때 하드웨어별 계산적 특성 차이를 무시하는 것의 함의는 무엇인가요?

코드를 이식할 때 하드웨어별 계산적 특성 차이를 무시하면 예기치 않은 결과 차이가 발생할 수 있습니다. 특히 GPU 모델 간의 부동 소수점 연산, 반올림 모드, 추가 비트 보존, 누적 순서 등의 차이가 결과에 영향을 미칠 수 있습니다. 이러한 차이를 고려하지 않으면 코드의 결과가 예상과 다를 수 있으며, 이는 심각한 문제를 초래할 수 있습니다. 따라서 하드웨어별 계산적 특성을 무시하지 않고 코드 이식 시 주의하는 것이 중요합니다.

형식적 방법을 어떻게 활용하여 행렬 가속기에 대한 테스트 접근 방식을 일반화하고 향상시킬 수 있나요?

형식적 방법은 행렬 가속기에 대한 테스트 접근 방식을 일반화하고 향상시키는 데 유용하게 활용될 수 있습니다. 먼저, 형식적 방법을 사용하여 숫자적 특성을 수학적으로 모델링하고 테스트할 수 있습니다. 이를 통해 행렬 가속기의 숫자적 동작을 보다 정확하게 이해하고 테스트할 수 있습니다. 또한, 형식적 방법을 사용하면 테스트의 일관성과 견고성을 향상시킬 수 있으며, 테스트 결과를 더 신뢰할 수 있게 만들 수 있습니다. 따라서 형식적 방법은 행렬 가속기에 대한 테스트 접근 방식을 개선하는 데 중요한 도구로 활용될 수 있습니다.