Effiziente Anpassung von Sprach-Großmodellen für wenige Trainingsbeispiele durch semantisch angereicherte Aufmerksamkeitsnetze

CrossTune ist ein neuer Ansatz zur effizienten Anpassung von Sprach-Großmodellen für Textklassifizierungsaufgaben mit wenigen Trainingsbeispielen. CrossTune nutzt die semantischen Informationen der Klassenbeschreibungen, um die Aufmerksamkeit des Modells auf relevante Aspekte des Eingabetextes zu lenken, ohne aufwendige Prompt-Suche durchführen zu müssen.