Core Concepts
Durch Multi-Task-Lernen können komprimierte Sprachrepräsentationsmodelle robuster gegenüber Umgebungsrauschen und Nachhall gemacht werden, ohne dabei die Leistung auf sauberen Daten zu beeinträchtigen.
Abstract
Die Studie präsentiert einen neuen Ansatz namens "RobustDistiller", der darauf abzielt, universelle Sprachrepräsentationsmodelle gleichzeitig zu komprimieren und robuster gegenüber Umgebungsrauschen und Nachhall zu machen.
Der Ansatz kombiniert zwei Hauptkomponenten:
Feature-Denoising-Wissenstransfer: Während des Destillationsprozesses wird das Studentenmodell dazu gebracht, die sauberen Repräsentationen des Lehrermodells zu rekonstruieren, obwohl es verrauschte Eingaben erhält. Dadurch soll das Studentenmodell robustere, rauschunabhängige Merkmale lernen.
Multi-Task-Lernen: Zusätzlich zur Destillation wird das Studentenmodell dazu gebracht, das Eingabesignal aus seinen Repräsentationen zu rekonstruieren oder eine Binärmaske zur Signalverbesserung zu schätzen. Dieser zusätzliche Lernschritt soll dem Modell weitere nützliche Informationen über das Sprachsignal vermitteln.
Die Autoren zeigen, dass der RobustDistiller-Ansatz auf verschiedene Basismodelle (Wav2Vec 2.0, HuBERT, WavLM, Robust HuBERT) angewendet werden kann und dabei die Leistung in verrauschten Umgebungen deutlich verbessert, ohne die Leistung auf sauberen Daten zu beeinträchtigen. Sogar komprimierte Modelle können mit diesem Ansatz die Leistung ihrer größeren Lehrermodelle in manchen Fällen übertreffen.
Stats
Die Autoren berichten, dass die Modelle mit 23 Millionen Parametern vergleichbare Ergebnisse wie die Lehrermodelle mit 95 Millionen Parametern erzielen können.
Quotes
"Durch Multi-Task-Lernen können komprimierte Sprachrepräsentationsmodelle robuster gegenüber Umgebungsrauschen und Nachhall gemacht werden, ohne dabei die Leistung auf sauberen Daten zu beeinträchtigen."
"Der RobustDistiller-Ansatz kann auf verschiedene Basismodelle angewendet werden und verbessert dabei die Leistung in verrauschten Umgebungen deutlich, ohne die Leistung auf sauberen Daten zu beeinträchtigen."