Ein konsistentes und Schwierigkeitsgrad-gesteuertes frühes Verlassen-Verfahren zur Beschleunigung der Inferenz von Sprachmodellen

ConsistentEE ist ein frühes Verlassen-Verfahren, das in Training und Inferenz konsistent ist. Es formuliert den Prozess des frühen Verlassens als ein Reinforcement-Learning-Problem und berücksichtigt den Schwierigkeitsgrad der Instanzen, um einen ausgewogenen Kompromiss zwischen Genauigkeit und Beschleunigung zu finden.