Effiziente Verarbeitung und Analyse von Inhalten zur Gewinnung von Erkenntnissen durch Skalendekopplierte Destillation

Die vorgeschlagene Methode der Skalendekoppelten Destillation (SDD) ermöglicht es, feinkörniges und eindeutiges semantisches Wissen aus dem Lehrer-Modell in das Schüler-Modell zu übertragen, indem der globale Logit-Output in mehrere lokale Logit-Outputs dekomprimiert wird. Dadurch kann der Schüler die mehrskalige Semantik des Lehrers besser erlernen und seine Diskriminierungsfähigkeit für mehrdeutige Samples verbessern.