Heterogenität der Parameter und Quantisierung in großen Sprachmodellen

Kleine Teilmenge von "Cherry"-Parametern haben einen unverhältnismäßig großen Einfluss auf die Modellleistung, während die überwiegende Mehrheit der Parameter nur einen minimalen Einfluss haben. Diese Heterogenität kann durch einen neuartigen quantisierungsbasierten Trainingsansatz (CherryQ) effektiv genutzt werden, um die Modellleistung bei extremer Komprimierung zu erhalten.