Core Concepts
Ein Audio-Textuelles Diffusionsmodell wurde entwickelt, um hochwertige Ultraschall-Zungenbildungsdaten zu generieren, die für linguistische Analysen und klinische Bewertungen entscheidend sind.
Abstract
Einleitung:
Akustisch-zu-artikulatorische Inversion (AAI) zur Umwandlung von Audio in Artikulatorbewegungen.
Methoden:
Unterscheidende und generative AAI-Methoden für die Erzeugung von Zungenbewegungssequenzen.
Audio-Textuelles Diffusionsmodell:
Fusion von akustischen und textuellen Informationen für die UTI-Datengenerierung.
Experimente und Ergebnisse:
Verbesserung der UTI-Datenqualität durch das vorgeschlagene Diffusionsmodell.
Schlussfolgerung:
Das Diffusionsmodell ermöglicht die Generierung hochwertiger UTI-Daten mit klarem Zungenkontur.
Stats
"Die experimentellen Ergebnisse zeigten, dass das vorgeschlagene Diffusionsmodell das LPIPS um 67,95% relativ verbessern konnte."
"Der FID wurde von 256,80 auf 22,02 reduziert."
Quotes
"Das Diffusionsmodell konnte hochwertige UTI-Daten mit klarer Zungenkontur generieren."
"Die Einführung zusätzlicher textueller Informationen verbesserte signifikant die Qualität der generierten UTI-Daten."