音声処理と画像生成

音声主導の画像生成と編集: 事前学習済みのディフュージョンモデルを用いた手法

本手法は、音声入力を利用して画像の生成と編集を行うことができる新しい手法を提案する。事前学習済みのディフュージョンモデルを拡張し、音声特徴量を画像生成プロセスに組み込むことで、音声に合わせた高品質な画像を生成できる。さらに、この手法は既存の画像編集手法と組み合わせることで、音声に基づいた画像の編集も可能となる。

高度な局所的アフィン変形による音声駆動リップ合成の強化

音声主導の画像生成と編集: 事前学習済みのディフュージョンモデルを用いた手法