Leistungsfähige symbolische Musikmodelle: MuPT, ein generativer vortrainierter Transformer für symbolische Musik

In dieser Arbeit stellen wir die MuPT-Serie von vortrainierten Modellen für die Erzeugung symbolischer Musik vor, die den Standard für das Training von Open-Source-Grundlagenmodellen für symbolische Musik setzen. Mit 190M, 505M, 1,07B, 1,97B und 4,23B Parametern wurden diese Modelle auf der größtmöglichen Menge an ABC-Notations-Daten, einschließlich 33,6 Milliarden hochwertiger und vielfältiger symbolischer Musiktoken, vortrainiert. Darüber hinaus vertiefen wir die Erkundung des Skalierungsgesetzes und schlagen das SMS-Gesetz vor, das sich auf die Skalierung von Grundlagenmodellen für symbolische Musik spezialisiert.