Основні поняття
本研究は、ソフトウェアとハードウェアの共同最適化により、限られた入力データから効率的かつ正確にニューラルフィールドを再構築する手法を提案する。
Анотація
本研究では、ニューラルフィールドを用いた信号表現と、低ランク分解および構造化プルーニングによるモデル圧縮の手法を提案している。ハードウェア面では、抵抗性メモリを用いたハイブリッド アナログ-デジタル コンピューティングシステムを開発し、ガウシアンエンコーダと高精度MLPプロセッシングエンジンを実装している。
具体的には以下の通り:
- ソフトウェア面では、ニューラルフィールドを用いて信号を暗黙的に表現し、低ランク分解と構造化プルーニングによりモデルサイズを大幅に削減している。
- ハードウェア面では、抵抗性メモリを用いたコンピューティング・イン・メモリ(CIM)アーキテクチャを開発し、ガウシアンエンコーダによる効率的な入力エンコーディングと、ハードウェア対応量子化(HAQ)による高精度な行列乗算を実現している。
- 提案手法を3D CT再構築、ノベルビュー合成、動的シーンのノベルビュー合成の各タスクに適用し、従来手法と比べて大幅な省エネルギー化と並列性の向上を達成しつつ、同等の再構築品質を実現している。
Статистика
3D CT再構築では、GPUに比べて31.5倍、NPUに比べて21.7倍のエネルギー効率向上と、10.8倍、63.5倍の並列性向上を達成した。
ノベルビュー合成では、GPUに比べて35.5倍、NPUに比べて24.4倍のエネルギー効率向上と、38.8倍、228.8倍の並列性向上を達成した。
動的シーンのノベルビュー合成では、GPUに比べて47.2倍、NPUに比べて32.5倍のエネルギー効率向上と、6.2倍、36.3倍の並列性向上を達成した。
Цитати
"本研究は、ソフトウェアとハードウェアの共同最適化により、限られた入力データから効率的かつ正確にニューラルフィールドを再構築する手法を提案する。"
"提案手法を3D CT再構築、ノベルビュー合成、動的シーンのノベルビュー合成の各タスクに適用し、従来手法と比べて大幅な省エネルギー化と並列性の向上を達成しつつ、同等の再構築品質を実現している。"