Core Concepts
強化学習のアクター-クリティック手法とテンソルネットワークを組み合わせた新しい手法を提案し、動的大偏差の計算に適用することで、従来の手法では扱えなかった大規模系の解析を可能にした。
Abstract
本研究では、強化学習のアクター-クリティック手法とテンソルネットワークを融合した新しい手法「ACTeN」を提案している。ACTeNは、大規模な状態空間と行動空間を持つ問題に適用できる強力な手法である。
具体的な応用例として、動的大偏差の計算を取り上げている。動的大偏差は統計物理学の重要な問題の1つで、稀な軌道を効率的にサンプリングする必要がある。ACTeNを東モデルと非平衡過程の代表例であるASEPに適用し、従来の手法では扱えなかった大規模系の解析を可能にした。
ACTeNの学習過程では、サイズの小さなシステムから徐々に大きなシステムへと転移学習を行うことで、効率的な最適化を実現している。また、複数の初期条件から独立に学習を行い、最良の政策を選択することで、安定した解を得ている。
このように、ACTeNは強化学習とテンソルネットワークの強みを活かした手法であり、物理学や多エージェントの強化学習問題など、広範な応用が期待できる。
Stats
東モデルの動的活性の生成関数の大偏差スケールは、サイズL=50の系で、密度行列繰り込み群の結果と一致している。
ASEPの時間積分粒子流の生成関数の大偏差スケールは、サイズL=50の系で、厳密対角化による結果と比較して、大偏差相転移の特徴を捉えている。