Temel Kavramlar
モデルベースのアプローチがタブラーMDPにおいて最小最適なサンプル複雑性を達成することが示された。
Özet
この論文は、オフライン強化学習に焦点を当てており、事前収集したデータを使用して学習します。効果的なオフライン強化学習は、分布シフトや限られたデータカバレッジに対応できる必要があります。従来のアルゴリズムや分析は、サブ最適なサンプル複雑性に苦しんでいるか、サンプル最適性に到達するために高い初期コストを負担しています。この論文では、モデルベース(または「プラグイン」)アプローチがタブラーMDPにおいて最小最適なサンプル複雑性を実現することが示されました。提案されたアルゴリズムは、「ペシミスティック」バリアントの価値反復であり、洗練された分散削減を必要としません。我々の分析フレームワークは、MDP向けに調整された注意深い自己境界技術と組み合わせて構築されています。
İstatistikler
SC⋆clipped(1−γ)3ε2 (無限地平面MDPs)
H4SC⋆clippedε2 (有限地平面MDPs)
Alıntılar
"提案されたアルゴリズムは、「ペシミスティック」バリアントの価値反復であり、洗練された分散削減を必要としません。"
"我々の分析フレームワークは、MDP向けに調整された注意深い自己境界技術と組み合わせて構築されています。"