高精度な推論のための効率的なポスト・トレーニング量子化手法

FP8フォーマットを用いた量子化手法は、INT8に比べて高精度な推論を可能にし、幅広い演算をサポートする。特に、E4M3はNLPモデルに適しており、E3M4はコンピュータビジョンタスクでわずかに優れている。