本研究は、コーパスベースの連結合成の手法を拡張し、画像と音声の相互作用を探求することで、没入型のオーディオビジュアル作品の創造を目指している。
まず、科学的な背景として、連結合成合成の概要と視聴覚の多感覚性について説明している。連結合成合成は、分類された音声サンプルを物理的・知覚的特徴に基づいて選択・組み合わせる手法である。一方、視聴覚の多感覚性については、共感覚や意味的関係など、音と映像の相互作用に関する研究が紹介されている。
次に、芸術的な背景として、グラニュラー合成やビデオミュージック、ビデオミュージックなどの先行事例を概観している。これらの作品では、音と映像の同期や対応関係が重要な役割を果たしている。
そして、本研究では、Max/MSP/Jitterを用いて4つの映像分析モジュール(ViVo)を開発することを決定した。これにより、コーパスベースの連結合成とビジュアルの相互作用を探求し、没入型のオーディオビジュアル作品の創造を目指す。
Naar een andere taal
vanuit de broninhoud
arxiv.org
Belangrijkste Inzichten Gedestilleerd Uit
by Mateo Fayet om arxiv.org 04-17-2024
https://arxiv.org/pdf/2404.10578.pdfDiepere vragen