大規模言語モデルの低遅延推論のためのモジュール型アテンション再利用

Prompt Cacheは、頻繁に再利用されるテキストセグメントのアテンション状態を事前に計算し、保存することで、大規模言語モデルの推論時間を大幅に短縮する。