핵심 개념
GPU サーバーレス コンピューティングのセットアップ時間を短縮し、スループットを向上させる。
초록
本論文は、GPU サーバーレス コンピューティングの課題に取り組んでいる。従来のGPU サーバーレス コンピューティングシステムでは、コース粒度のGPU管理により、セットアップ時間が長く、スループットが低いという問題がある。
提案手法のSAGEは、以下の2つの革新的なメカニズムを導入することで、これらの問題を解決している。
-
並列化されたセットアップメカニズム:
- GPUデータ準備とGPUコンテキスト作成を並列化することで、GPU関数のセットアップ時間を短縮する。
- メモリデーモンとタクソンシムを活用し、データ準備とコンテキスト作成を並行して行う。
-
メモリ共有に基づくメモリ管理:
- 読み取り専用メモリの共有により、データ読み込みのコンテンションを削減し、スループットを向上させる。
- マルチステージのリソース終了メカニズムにより、リソースの再利用性を高める。
これらの手法により、SAGEは従来手法と比べて、関数の実行時間を11.3倍短縮し、関数密度を1.22倍向上させることができた。
통계
GPU関数の実行時間は、従来手法の26.3%~52.4%に短縮された。
SAGEのシステムスループットは、従来手法の8.9倍~10.3倍向上した。
SAGEのメモリ使用率は、従来手法の18.7%~37.5%に抑えられた。