完全に接続された層を削除することによりTransformerの計算量を最小化するMemoryFormer

Transformerモデルの計算量を大幅に削減するために、全結合層の代わりにメモリレイヤーを用いた新しいアーキテクチャ「MemoryFormer」を提案する。