Centrala begrepp
본 연구는 실감 오디오비주얼 작품 제작을 위해 코퍼스 기반 연결 합성 기술을 다중 양상적으로 접근한다.
Sammanfattning
이 연구는 오디오와 영상의 통합적 활용을 위한 과학적 및 예술적 접근을 다룬다.
먼저 코퍼스 기반 연결 합성 기술과 오디오비주얼 다중 양상성에 대한 현재 연구 동향을 살펴본다.
이를 바탕으로 영상 분석 모듈 "ViVo"를 개발하고, 오디오와의 매핑 및 실시간 VJing 환경을 구축한다.
또한 이를 활용한 몰입형 오디오비주얼 작품 제작 과정과 미학적 고찰을 제시한다.
특히 소리와 영상의 상호작용을 위한 물리적, 지각적, 인지적 측면을 탐구하고, 이를 통해 새로운 창작 도구와 표현 방식을 모색한다.
Statistik
코퍼스 기반 연결 합성은 1999년 Diemo Schwarz의 박사 논문에서 처음 소개되었다.
CataRT는 2005년 실시간 구현되었으며, 현재 Max, Ableton Live, 독립 애플리케이션 등 다양한 형태로 사용 가능하다.
CoCAVS는 2022년 IMéRA 레지던시 프로젝트로 진행되었으며, 7개의 영상 디스크립터를 제안하였다.
Citat
"CoCAVS는 인간의 다중 감각 지각을 예술적으로 탐구하는 새로운 방식을 제시한다. 공통의 오디오-영상 코퍼스를 통해 상호 양상적 연관성을 만들어내는 것이다."
"영상은 인공지능에 의해 생성되는 것이 아니라 연주자/오디오비주얼 아티스트의 감성에 의해 선택된다. 이는 애니메이션과 내러티브에 대한 대안적 접근을 제공한다."