遠隔地でのネットワーク音楽パフォーマンス体験のデモンストレーション - MEVO を用いて

Core Concepts

ポリテクニコ・ディ・トリノで開発中のネットワーク音楽パフォーマンスシステムMEVOを用いて、トリノ(イタリア)とヴロツワフ(ポーランド)の2都市間で行われた分散コンサートの実証実験について報告する。

Abstract

本論文では、ポリテクニコ・ディ・トリノで開発中のネットワーク音楽パフォーマンスシステムMEVOの使用例を紹介する。2023年6月に行われた分散コンサートでは、トリノとヴロツワフの2都市間で3人ずつの演奏者が参加した。 MEVOシステムは現在開発途上であるものの、遠隔観客にとってほぼ透過的な体験を提供できることが示された。 MEVOの主な特徴は以下の通り: ラズベリーパイ4Bとオーディオカードを使用したハードウェア構成 Linux 6.1 PREEMPT RTを搭載したオペレーティングシステム Node.js 18.16で書かれた制御システム、C++17で書かれたメインプログラム PCMオーディオのキャプチャ、UDPパケット化、ピアツーピアでの送信、受信オーディオのバッファリングと再生を行う 分散コンサートの実験では、トリノとヴロツワフの両サイドでテレメトリデータを収集した。ラウンドトリップ時間は99.986%が59ms未満と安定しており、失われたオーディオフレームの割合はトリノ側で0.177%、ヴロツワフ側で0.131%と低かった。ミュージシャンと観客からの評価は良好で、MEVOシステムがほぼ透過的な体験を提供できることが示された。ただし、パケットロス対策やオーディオバッファの動的な調整などの改善の余地がある。

Stats

ラウンドトリップ時間の最小値はトリノ側で51.985ms、ヴロツワフ側で52.011ms ラウンドトリップ時間の99.986%が59ms未満 トリノ側の失われたオーディオフレームの割合は0.177% ヴロツワフ側の失われたオーディオフレームの割合は0.131%

Quotes

"To guarantee a realistic musical interaction, ideally the M2E latency should be kept below 30 ms [1], though, depending on the musical piece and on the musicians' ability to apply delay-coping strategies, higher values may still be tolerated." "Usually, latencies above 60ms lead to significant tempo deceleration, which degrades the musical performance [2]."

Key Insights Distilled From

Demonstration of a Networked Music Performance Experience with MEVO

by Leonardo Sev... at arxiv.org 04-16-2024

https://arxiv.org/pdf/2404.09665.pdf

Deeper Inquiries

ネットワーク音楽パフォーマンスにおける遅延許容値の上限はどのように決まるのか?

遅延許容値の上限は、口から耳までの遅延（M2E遅延）として定義されます。実際の音楽的相互作用を保証するために、M2E遅延は理想的には30ms以下に保たれるべきです。ただし、音楽の曲やミュージシャンが遅延対処戦略を適用する能力によって、より高い値が許容されることもあります。通常、60msを超える遅延は、音楽パフォーマンスの劣化をもたらすため、避けるべきです。

パケットロス対策として、より高度な手法はないか?

パケットロス対策として、より高度な手法としては、パケットロスを隠蔽するための技術があります。現在の実装では、パケットが失われた場合、欠落したサンプルは無音で置き換えられますが、音声品質に影響を与えることがあります。そのため、音楽パフォーマンスの品質を向上させるために、[3]で紹介されているようなPLC技術の統合が必要です。

ネットワーク音楽パフォーマンスの発展により、どのような新しい音楽体験が生み出されるか?

ネットワーク音楽パフォーマンスの発展により、地理的な制約を超えた新しい音楽体験が生み出されるでしょう。例えば、異なる場所にいるミュージシャンがリアルタイムで演奏を共有し合うことで、新しいコラボレーションや創造性の可能性が広がります。また、視覚的、聴覚的、移動の制約を持つユーザーにもアクセス可能なシステムが開発されることで、より包括的な音楽体験が提供されることが期待されます。