Core Concepts
Proposing an innovative arrow matrix decomposition approach to enhance communication efficiency in sparse matrix multiplication.
Abstract
新しいアプローチであるArrow Matrix Decompositionを提案し、疎行列の乗算における通信効率を向上させる。
このアプローチは、高度な構造化された行列であるarrow matricesに疎行列を分解し、通信回避型の乗算を可能にする。
提案手法は、実世界のグラフやデータセットに対して効果的であり、通信コストの削減とスケーリング性の向上を示す。
また、最大90%まで及ぶバンド幅を持つ大規模な疎行列に対しても効果的であり、計算ボリュームの削減が可能となる。
提案手法は従来手法よりも優れたスケーリング性と通信コスト削減を示し、数億行の疎行列においても効果的であることが実証されている。
Stats
提案手法は通信ボリュームを多項式時間で削減することが示されている。
128 GPU上では通信量が1.5D分解法より3〜5倍削減されている。
メモリ使用量も少なく、2億以上の頂点数や多数の列を持つ密な右辺行列でも処理可能。
Quotes
"Our approach provides significant reductions in communication costs of sparse matrix-matrix multiplication compared to traditional approaches."
"In our experiments, we demonstrate the scalability of our approach by testing it on several sparse matrices with over 50 million rows."
"Our proposed approach is efficient and can construct the arrow matrix decomposition in polynomial time for a variety of families of graphs."