Gemischte Präzisions-Aktivierungsquantisierung mit MetaMix: Ein Meta-Zustand-Präzisions-Sucher

MetaMix ist eine neuartige Trainingsmethode, die Aktivierungsinstabilität bei gemischter Präzisionsquantisierung adressiert. Sie besteht aus einer Bitauswahl- und einer Gewichtstrainingsstufe, die die Aktivierungsinstabilität aufgrund von Bitauswahl und Gewichtsquantisierung reduzieren und eine schnelle und hochwertige Bitauswahl sowie ein schnelles Feintuning der Netzwerkgewichte ermöglichen.