長シーケンスモデリングにおけるストラクチャードメモリ上のベクトル量子化

LongVQは、ベクトル量子化(VQ)テクニックを使用して、グローバルな抽象化を長さ固定のコードブックに圧縮することで、注意行列の線形時間計算を可能にする新しい手法である。これにより、動的なグローバルおよびローカルパターンを効果的に維持し、長期依存性の欠如の問題を補完する。