基於源濾波模型的高保真端到端歌聲合成器SiFiSinger

Concetti Chiave

本文提出了一種基於源濾波模型的新型歌聲合成系統SiFiSinger，該系統通過將聲學特徵解耦成代表音調的源激勵信號和代表頻譜包絡的梅爾倒譜，並結合可微分的重建損失，實現了比傳統方法更高的音調準確性和音頻質量。

Sintesi

SiFiSinger: 基於源濾波模型的高保真端到端歌聲合成器

論文概述

本論文介紹了一種名為 SiFiSinger 的新型歌聲合成系統，該系統採用源濾波模型，相較於傳統方法，能夠產生更自然、更準確的歌聲。

研究背景

歌聲合成（SVS）旨在根據歌詞和樂譜生成逼真的歌聲。近年來，深度學習的突破極大地推動了歌聲合成技術的發展。然而，現有的歌聲合成系統在音調準確性和音頻質量方面仍存在不足。

SiFiSinger 系統架構

SiFiSinger 基於變分自編碼器（VAE）框架，包含先驗編碼器、後驗編碼器和波形解碼器。與傳統方法不同的是，SiFiSinger 採用源濾波模型，將聲學特徵解耦成代表音調的源激勵信號和代表頻譜包絡的梅爾倒譜。

• 源模塊: 根據基頻（F0）序列生成正弦激勵信號，並通過可訓練的前饋層將其與諧波泛音合併，以確保合成語音與預期音調緊密匹配。
• 先驗編碼器: 採用類似於 FastSpeech 的結構，包含音調預測器、梅爾倒譜解碼器和時長預測器，用於預測音頻的音調、頻譜包絡和音素時長等信息。
• 後驗編碼器: 根據輸入的梅爾倒譜和 F0 特徵，預測後驗分佈的均值和方差，並通過重採樣獲得後驗潛變量。
• 解碼器: 由 HiFi-GAN 生成器組成，利用潛變量和源模塊生成的激勵信號生成最終的波形。

系統優勢

• 更高的音調準確性: SiFiSinger 通過源模塊和可微分的 F0 重建損失，能夠更準確地控制和預測音調信息。
• 更好的音頻質量: 將聲學特徵解耦成源激勵信號和梅爾倒譜，並結合可微分的重建損失，有效提高了合成語音的自然度和清晰度。
• 模型參數更少: SiFiSinger 不需要像 VISinger 2 那樣使用 DDSP 合成器，因此模型參數更少，訓練效率更高。

實驗結果

在 Opencpop 數據集上的實驗結果表明，SiFiSinger 在音調均方根誤差、梅爾頻譜均方根誤差、基頻相關係數和清濁音幀錯誤率等客觀指標上均優於 VISinger 2。同時，主觀評測結果也顯示，SiFiSinger 合成的歌聲在自然度、清晰度和整體質量方面均優於 VISinger 2。

總結

SiFiSinger 是一種基於源濾波模型的新型歌聲合成系統，通過將聲學特徵解耦、引入源模塊和可微分的重建損失，有效提高了合成歌聲的音調準確性和音頻質量。

Statistiche

SiFiSinger 在 Opencpop 數據集上的 F0 均方根誤差為 42.93。
SiFiSinger 在 Opencpop 數據集上的梅爾頻譜均方根誤差為 0.35。
SiFiSinger 在 Opencpop 數據集上的基頻相關係數為 0.761。
SiFiSinger 的模型大小為 22.5M。
SiFiSinger 的平均意見得分（MOS）為 3.77 ± 0.12。

Citazioni

Approfondimenti chiave tratti da

SiFiSinger: A High-Fidelity End-to-End Singing Voice Synthesizer based on Source-filter Model

by Jianwei Cui,... alle arxiv.org 10-17-2024

https://arxiv.org/pdf/2410.12536.pdf

Domande più approfondite

SiFiSinger 如何應用於其他語言的歌聲合成？

SiFiSinger 的核心架構是基於 聲源濾波模型 和 深度學習 技術，並未針對特定語言進行設計。理論上，只要提供其他語言的訓練數據，例如不同語言的歌曲資料庫，包含歌詞、音調、音素等資訊，並進行相應的數據預處理，SiFiSinger 就可以被訓練用於合成其他語言的歌聲。
然而，實際應用中可能會遇到一些挑戰：

數據收集與標註： 建立高品質、大規模的其他語言歌曲資料庫並不容易，需要耗費大量人力和時間進行數據收集、清洗、標註等工作。
語言特性差異： 不同語言的音韻、發音、語調等方面存在差異，SiFiSinger 的模型架構和參數可能需要進行調整和優化，才能更好地適應其他語言的歌聲合成。
音樂文化差異： 不同語言的歌曲在音樂風格、演唱技巧等方面也存在差異，SiFiSinger 需要學習和掌握這些差異，才能合成更自然、更具表現力的歌聲。
總之，SiFiSinger 應用於其他語言歌聲合成的可行性取決於訓練數據的質量和數量，以及模型的調整和優化程度。

SiFiSinger 是否能夠合成不同演唱風格的歌聲？

SiFiSinger 本身並沒有明確設計用於合成不同演唱風格的歌聲。它主要學習訓練數據中的歌聲特徵，並根據輸入的歌詞和音調信息生成相似的歌聲。
然而，SiFiSinger 的一些特性使其具備一定的風格遷移能力：

聲源濾波模型： SiFiSinger 使用聲源濾波模型分別對聲音的音調和音色進行建模，這為調整歌聲風格提供了可能性。例如，通過修改聲源模塊的參數，可以改變歌聲的音調和顫音等特徵，從而影響演唱風格。
深度學習： 深度學習模型具有强大的表徵學習能力，可以從大量的數據中學習到隱含的模式和規律。如果訓練數據中包含不同演唱風格的歌聲，SiFiSinger 有可能學習到這些風格特徵，並在合成時進行一定程度的風格遷移。
為了更好地實現不同演唱風格的歌聲合成，可以考慮以下方法：

數據增強： 在訓練數據中加入更多不同演唱風格的歌聲數據，例如流行、搖滾、古典等，讓 SiFiSinger 學習更豐富的風格特徵。
風格標籤： 為訓練數據添加風格標籤，並修改模型架構，使其能夠根據輸入的風格標籤生成不同風格的歌聲。
風格嵌入： 使用風格嵌入技術將不同演唱風格的歌聲映射到一個低維的風格空間中，並利用風格空間中的向量控制 SiFiSinger 的歌聲生成過程。

如果將 SiFiSinger 與其他音樂生成模型結合，是否可以創造出全新的音樂體驗？

將 SiFiSinger 與其他音樂生成模型結合，例如旋律生成模型、和聲生成模型、編曲模型等，確實有可能創造出全新的音樂體驗。
以下是一些可能的應用場景：

自動歌曲創作： 結合旋律生成模型，可以自動生成全新的歌曲旋律，並使用 SiFiSinger 合成歌聲，創作出完整的歌曲。
個性化音樂生成： 根據用戶的喜好和需求，例如音樂風格、情緒、主題等，生成個性化的音樂作品，並使用 SiFiSinger 合成與之匹配的歌聲。
虛擬歌手與樂隊： 將 SiFiSinger 與其他音樂生成模型結合，可以創建虛擬歌手和樂隊，自動演奏和演唱各種風格的音樂作品。
互動式音樂表演： 在現場表演中，音樂家可以利用 SiFiSinger 與其他音樂生成模型進行互動，創造出實時變化的音樂效果，為觀眾帶來全新的音樂體驗。
總之，將 SiFiSinger 與其他音樂生成模型結合，可以突破傳統音樂創作的限制，拓展音樂表現的可能性，創造出更豐富、更具創意的音樂作品，為人們帶來全新的音樂體驗。