핵심 개념
早期終了は言語モデルの推論を高速化する有効な手法であるが、従来の手法では訓練と推論の間に不整合が存在していた。本研究では、強化学習を用いて訓練と推論の一貫性を保ちつつ、インスタンスの難易度に応じて正確性と高速性のバランスを取る手法を提案する。
초록
本研究は、早期終了手法の訓練と推論の不整合を解決するため、強化学習を用いた新しい手法「ConsistentEE」を提案している。
訓練時:
- 各中間層に内部分類器とポリシーネットワークを追加する
- ポリシーネットワークが「終了」or「継続」の判断を行う
- 「終了」を選択した場合、その層の内部分類器のみが損失を受ける
推論時:
- ポリシーネットワークの出力が「終了」の確率が0.5を超えた場合、その層で終了する
- 内部分類器の予測結果を最終出力とする
さらに、インスタンスの難易度を表す「Memorized Layer」の概念を導入し、報酬関数に組み込むことで、難易度に応じて正確性と高速性のバランスを取る。
実験の結果、提案手法は分類タスクと生成タスクの両方で、従来手法を上回る性能を示した。特に高速化率が大きい場合に優位性が顕著であった。
통계
各内部分類器の精度は従来手法に比べて高く、一貫して良好な水準を維持している
提案手法の平均高速化率は34%で、精度を維持したまま1.54倍の高速化を実現している