高効率な状態拡張を備えたゲートつき線形RNNの提案

HGRN2は、線形注意メカニズムに着想を得た状態拡張手法を導入することで、HGRN1よりも高い表現力を実現し、言語モデリングや画像分類などの課題で優れた性能を示す。