MetaLA：ソフトマックスアテンションマップへの統一的な最適線形近似

MetaLAは、従来のソフトマックスアテンションの quadratic な計算コスト問題に対処するために、LinFormer、SSM、LinRNN などの既存の線形複雑性モデルを統一的な視点から分析し、最適な線形近似を実現する新しい線形アテンション機構である。