실감 오디오비주얼 작품을 위한 코퍼스 기반 연결 합성의 다중 양상적 접근

핵심 개념

본 연구는 실감 오디오비주얼 작품 제작을 위해 코퍼스 기반 연결 합성 기술을 다중 양상적으로 접근한다.

초록

이 연구는 오디오와 영상의 통합적 활용을 위한 과학적 및 예술적 접근을 다룬다.
먼저 코퍼스 기반 연결 합성 기술과 오디오비주얼 다중 양상성에 대한 현재 연구 동향을 살펴본다.
이를 바탕으로 영상 분석 모듈 "ViVo"를 개발하고, 오디오와의 매핑 및 실시간 VJing 환경을 구축한다.
또한 이를 활용한 몰입형 오디오비주얼 작품 제작 과정과 미학적 고찰을 제시한다.
특히 소리와 영상의 상호작용을 위한 물리적, 지각적, 인지적 측면을 탐구하고, 이를 통해 새로운 창작 도구와 표현 방식을 모색한다.

통계

코퍼스 기반 연결 합성은 1999년 Diemo Schwarz의 박사 논문에서 처음 소개되었다.
CataRT는 2005년 실시간 구현되었으며, 현재 Max, Ableton Live, 독립 애플리케이션 등 다양한 형태로 사용 가능하다.
CoCAVS는 2022년 IMéRA 레지던시 프로젝트로 진행되었으며, 7개의 영상 디스크립터를 제안하였다.

인용구

"CoCAVS는 인간의 다중 감각 지각을 예술적으로 탐구하는 새로운 방식을 제시한다. 공통의 오디오-영상 코퍼스를 통해 상호 양상적 연관성을 만들어내는 것이다."
"영상은 인공지능에 의해 생성되는 것이 아니라 연주자/오디오비주얼 아티스트의 감성에 의해 선택된다. 이는 애니메이션과 내러티브에 대한 대안적 접근을 제공한다."

핵심 통찰 요약

Vivo : une approche multimodale de la synthese concatenative par corpus dans le cadre d'une oeuvre audiovisuelle immersive

by Mateo Fayet 게시일 arxiv.org 04-17-2024

https://arxiv.org/pdf/2404.10578.pdf

더 깊은 질문

오디오와 영상의 상호작용을 위해 어떤 새로운 디스크립터와 매핑 전략을 고려할 수 있을까?

오디오와 영상의 상호작용을 위해 새로운 디스크립터와 매핑 전략을 고려할 때, 다양한 요소를 고려해야 합니다. 먼저, 오디오와 영상의 특성을 분석하여 상호작용이 가능한 디스크립터를 식별해야 합니다. 이를 위해 오디오의 주파수, 음량, 피치 등과 영상의 색상, 밝기, 움직임 등을 고려할 수 있습니다. 이러한 디스크립터를 기반으로 오디오와 영상 간의 상호작용을 설명하고 제어할 수 있는 매핑 전략을 개발해야 합니다.
예를 들어, 오디오의 음악적 특성을 시각적으로 나타내기 위해 주파수 스펙트럼을 색상으로 매핑하거나 음악의 리듬을 영상의 움직임으로 표현할 수 있습니다. 또한, 오디오의 감정적인 요소를 색감이나 형태로 표현하여 시청자에게 더욱 몰입감을 제공할 수 있습니다. 이러한 디스크립터와 매핑 전략을 통해 오디오와 영상 간의 상호작용을 더욱 효과적으로 구현할 수 있을 것입니다.

오디오비주얼 작품에서 관객의 능동적 참여를 유도하는 방법은 무엇이 있을까?

오디오비주얼 작품에서 관객의 능동적 참여를 유도하기 위해서는 몇 가지 방법을 고려할 수 있습니다. 먼저, 관객이 작품에 대한 감정적인 연결을 형성할 수 있도록 상호작용 요소를 추가하는 것이 중요합니다. 이를 위해 관객이 음악이나 영상에 직접 영향을 미칠 수 있는 인터랙티브 요소를 도입할 수 있습니다. 예를 들어, 관객이 음악의 흐름을 조절하거나 영상의 색상을 변경할 수 있는 인터랙티브 인터페이스를 제공할 수 있습니다.
또한, 관객이 작품을 더 깊이 이해하고 탐구할 수 있도록 정보를 제공하고 창의적인 활동을 유도하는 요소를 추가할 수 있습니다. 예를 들어, 작품의 배경 이야기나 제작과정에 대한 정보를 제공하거나 관객이 자신의 창의적인 아이디어를 작품에 반영할 수 있는 기회를 제공할 수 있습니다.
마지막으로, 관객과 작품 사이에 상호작용을 촉진하는 이벤트나 워크숍을 개최하여 관객들이 작품을 더욱 적극적으로 체험하고 참여할 수 있도록 하는 것도 좋은 방법입니다. 이러한 방법들을 통해 오디오비주얼 작품을 통해 관객의 능동적 참여를 유도할 수 있을 것입니다.

오디오와 영상의 융합을 통해 인간의 지각과 인지에 어떤 영향을 줄 수 있을까?

오디오와 영상의 융합을 통해 인간의 지각과 인지에는 다양한 영향을 줄 수 있습니다. 먼저, 오디오와 영상이 조화롭게 결합되면 관객의 감정적인 반응을 강화시킬 수 있습니다. 음악과 영상이 함께 작용함으로써 감정적인 메시지를 보다 효과적으로 전달할 수 있으며, 관객의 감정을 더욱 깊게 감지할 수 있습니다.
또한, 오디오와 영상의 융합은 관객의 주의를 집중시키고 작품에 대한 이해를 촉진할 수 있습니다. 음악과 영상이 상호보완적으로 작용함으로써 관객이 작품을 더욱 몰입하게 되며, 작품의 메시지나 의도를 더욱 명확하게 전달할 수 있습니다.
또한, 오디오와 영상의 융합은 관객의 창의적 사고와 상상력을 자극할 수 있습니다. 음악과 영상이 함께 작용함으로써 관객은 다양한 시각과 청각적 경험을 통해 창의적인 아이디어를 도출하고 새로운 관점을 형성할 수 있습니다. 이러한 방식으로 오디오와 영상의 융합은 관객의 지각과 인지를 향상시키고 더욱 풍부한 예술 경험을 제공할 수 있습니다.