本研究は、早期終了手法の訓練と推論の不整合を解決するため、強化学習を用いた新しい手法「ConsistentEE」を提案している。
訓練時:
推論時:
さらに、インスタンスの難易度を表す「Memorized Layer」の概念を導入し、報酬関数に組み込むことで、難易度に応じて正確性と高速性のバランスを取る。
実験の結果、提案手法は分類タスクと生成タスクの両方で、従来手法を上回る性能を示した。特に高速化率が大きい場合に優位性が顕著であった。
In un'altra lingua
dal contenuto originale
arxiv.org
Approfondimenti chiave tratti da
by Ziqian Zeng,... alle arxiv.org 04-09-2024
https://arxiv.org/pdf/2312.11882.pdfDomande più approfondite