リアルタイムで高品質な話す頭部合成を実現するGaussianTalker: 音声駆動型3D Gaussian Splattingによる

GaussianTalkerは、3D Gaussian Splattingを活用して、リアルタイムで高品質な話す頭部合成を実現する新しいフレームワークである。音声特徴と3D Gaussianの特徴を統合したクロスアテンションモジュールにより、各Gaussianの属性を精密に制御し、高品質な口パク同期と頭部動作を生成する。