Główne pojęcia
In dieser Arbeit stellen wir die MuPT-Serie von vortrainierten Modellen für die Erzeugung symbolischer Musik vor, die den Standard für das Training von Open-Source-Grundlagenmodellen für symbolische Musik setzen. Mit 190M, 505M, 1,07B, 1,97B und 4,23B Parametern wurden diese Modelle auf der größtmöglichen Menge an ABC-Notations-Daten, einschließlich 33,6 Milliarden hochwertiger und vielfältiger symbolischer Musiktoken, vortrainiert. Darüber hinaus vertiefen wir die Erkundung des Skalierungsgesetzes und schlagen das SMS-Gesetz vor, das sich auf die Skalierung von Grundlagenmodellen für symbolische Musik spezialisiert.
Streszczenie
Die Studie untersucht die Anwendung von Large Language Models (LLMs) auf das Vortraining von Musik. Während die verbreitete Verwendung von MIDI in der Musikmodellierung gut etabliert ist, deuten die Ergebnisse darauf hin, dass LLMs inhärent besser mit der ABC-Notation kompatibel sind, die näher an ihrer Konzeption und ihren Stärken liegt und so die Leistung des Modells bei der musikalischen Komposition verbessert.
Um die Herausforderungen im Zusammenhang mit nicht synchronisierten Takten aus verschiedenen Spuren während der Generierung zu bewältigen, schlagen wir die Entwicklung einer synchronisierten Mehrspurnotation in ABC-Notation (SMT-ABC-Notation) vor, die darauf abzielt, die Kohärenz über mehrere musikalische Spuren hinweg zu erhalten.
Zu den Beiträgen gehören eine Reihe von Modellen, die bis zu 8192 Token verarbeiten können und 90% der symbolischen Musikdaten in unserem Trainingsdatensatz abdecken. Darüber hinaus untersuchen wir die Auswirkungen des Symbolic Music Scaling Law (SMS Law) auf die Modellleistung. Die Ergebnisse deuten auf eine vielversprechende Richtung für zukünftige Forschungen zur Musikgenerierung hin und bieten umfangreiche Ressourcen für gemeinschaftsgetriebene Forschung durch unsere Open-Source-Beiträge.
Statystyki
33,6 Milliarden Token an symbolischen Musikdaten wurden für das Training verwendet.
Die Modelle können bis zu 8192 Token verarbeiten und decken damit 90% der symbolischen Musikdaten in unserem Trainingsdatensatz ab.
Cytaty
"In dieser Arbeit stellen wir die MuPT-Serie von vortrainierten Modellen für die Erzeugung symbolischer Musik vor, die den Standard für das Training von Open-Source-Grundlagenmodellen für symbolische Musik setzen."
"Um die Herausforderungen im Zusammenhang mit nicht synchronisierten Takten aus verschiedenen Spuren während der Generierung zu bewältigen, schlagen wir die Entwicklung einer synchronisierten Mehrspurnotation in ABC-Notation (SMT-ABC-Notation) vor, die darauf abzielt, die Kohärenz über mehrere musikalische Spuren hinweg zu erhalten."