Core Concepts
バランストランケーションを使用してS4モデルを効率的に初期化し、推論時の計算コストを削減するための提案された学習方法は、従来のSkew-HiPPO初期化よりも高い精度を達成します。
Abstract
この記事では、S4モデルとDSS層を使用した新しい学習方法が紹介されています。バランストランケーション法を用いて事前トレーニングされたモデルから改善されたパラメーターを取得し、これらをメイントレーニングの初期化に利用します。数値実験では、この手法が効果的であることが示されました。また、事前トレーニングの精度とメイントレーニング後の精度との関係も探究されました。
Stats
Skew-HiPPO初期化後の精度: 0.8216 (N = 128)
ランダム初期化後の精度: 0.7540 (N = 128)
提案手法後の精度: 0.8359 (N = 128)
Quotes
"提案手法は、従来のSkew-HiPPO初期化よりも高い精度を達成しました。"
"事前トレーニング時の精度が高いほど、メイントレーニング後の精度も高くなります。"