ビボ：没入型オーディオビジュアル作品のためのコーパスベースの連結合成の多感覚的アプローチ

แนวคิดหลัก

本研究は、コーパスベースの連結合成の手法を拡張し、画像と音声の相互作用を探求することで、没入型のオーディオビジュアル作品の創造を目指す。

บทคัดย่อ

本研究は、コーパスベースの連結合成の手法を拡張し、画像と音声の相互作用を探求することで、没入型のオーディオビジュアル作品の創造を目指している。

まず、科学的な背景として、連結合成合成の概要と視聴覚の多感覚性について説明している。連結合成合成は、分類された音声サンプルを物理的・知覚的特徴に基づいて選択・組み合わせる手法である。一方、視聴覚の多感覚性については、共感覚や意味的関係など、音と映像の相互作用に関する研究が紹介されている。

次に、芸術的な背景として、グラニュラー合成やビデオミュージック、ビデオミュージックなどの先行事例を概観している。これらの作品では、音と映像の同期や対応関係が重要な役割を果たしている。

そして、本研究では、Max/MSP/Jitterを用いて4つの映像分析モジュール(ViVo)を開発することを決定した。これにより、コーパスベースの連結合成とビジュアルの相互作用を探求し、没入型のオーディオビジュアル作品の創造を目指す。

สถิติ

ビデオ分析モジュールViVoは、Max/MSP/Jitterで開発される。
ViVoは、ビデオの「warmness」、「sharpness」、「detail」、「optical flow」の4つの特徴を抽出する。
これらの特徴は、音声合成のパラメータとマッピングされ、没入型のオーディオビジュアル体験を生み出す。

คำพูด

「見えるものは、オリンポスの神々の対象であった人類が、今や自分自身の対象となっている。自己疎外が、最高の美的感覚にまで達したのである。」

Walter Benjamin

ข้อมูลเชิงลึกที่สำคัญจาก

Vivo : une approche multimodale de la synthese concatenative par corpus dans le cadre d'une oeuvre audiovisuelle immersive

by Mateo Fayet ที่ arxiv.org 04-17-2024

https://arxiv.org/pdf/2404.10578.pdf

สอบถามเพิ่มเติม

ビデオ分析と音声合成のマッピングにおいて、どのような新しい知覚的対応関係を発見できるだろうか。

ビデオ分析と音声合成のマッピングによって、新しい知覚的対応関係を発見することが可能です。例えば、ビデオの特定の視覚的特徴や動きが特定の音声要素と関連付けられることで、視聴覚の相互作用が強化される可能性があります。また、ビデオの色調や明るさが音の音高や強度と関連付けられることで、より豊かな視聴覚体験が生まれるかもしれません。さらに、ビデオの空間的な要素が音のパンニングや立体感と結びつけられることで、より没入感のある視聴覚体験が実現されるかもしれません。

ビデオ分析の特徴をどのように拡張し、より複雑な視聴覚の相互作用を生み出すことができるだろうか。

ビデオ分析の特徴を拡張することで、より複雑な視聴覚の相互作用を生み出すことが可能です。例えば、ビデオ分析ツールに新しいディスクリプターを追加することで、より多角的な視覚的特徴を捉えることができます。また、ビデオ分析の精度や速度を向上させることで、よりリアルタイムでの音声合成とのマッピングが可能となり、よりダイナミックな視聴覚体験を提供することができます。さらに、ビデオ分析の結果を音声合成のパラメーターに直接反映させることで、より密接な視聴覚の相互作用を実現することができるでしょう。

本研究で開発されたツールは、他のアプリケーションやプラットフォームでも活用できるだろうか。

本研究で開発されたツールは、他のアプリケーションやプラットフォームでも活用可能です。開発されたツールがMax/MSP/Jitter上で動作するため、Max/MSPをサポートする他のアプリケーションやプラットフォームでも利用することができます。また、OSCプロトコルを使用しているため、他のソフトウェアやデバイスとの間でデータの送受信が可能です。これにより、開発されたツールは他のアプリケーションやプラットフォームとの統合が容易であり、幅広い環境で活用することができるでしょう。