大規模言語モデルは生成前から何を探しているかを知っている - SnapKVによる効率的なKVキャッシュ圧縮

大規模言語モデルは入力に対して一貫した注意パターンを持っており、これを活用してKVキャッシュを効率的に圧縮できる。