カリキュラム強化学習は、徐々に難易度の高いタスクに移行することで、複雑なタスクの解決を可能にする。最適輸送の枠組みを用いることで、タスク間の類似性を適切に考慮したカリキュラムを生成できる。
報酬の上限を設けない状況下でも最適な後悔界を持つ新しい強化学習アルゴリズムEXP4.Pを提案し、その性能を理論的・実験的に示した。
逆順カリキュラムと順方向カリキュラムを組み合わせることで、少数の実演データを用いて複雑なタスクを効率的に学習できる。
連続分布を使用したアクター・クリティック強化学習アルゴリズムを提案し、複数のクリティックのカルマンフュージョンによって過大評価バイアスを軽減する。
確率的ポリシーグラジエントを用いて、最適な決定論的ポリシーを学習することができる。
本研究では、決定依存型不確実性下でのCVaRの堅牢性を分析し、新しいリスク尺度NCVaRを提案することで、リスク感応型強化学習の堅牢性を高めている。
Greedy-GQアルゴリズムは、線形関数近似を用いた最適制御問題に対して、i.i.d.環境下では√T の収束速度、マルコフ環境下ではlog T/√T の収束速度を持つ。
制約付き正規化流れ方策は、安全性と解釈可能性を兼ね備えた強化学習のための新しい方策モデルである。この方策は、ドメイン知識を活用して制約を満たす行動を生成することができ、学習中も制約を順守する。
割引強化学習アルゴリズムの評価誤差を解決するために、Markov フロー方策を提案する。この方策は非負の神経ネットワークフローを利用して包括的な前方予測を可能にする。
強化学習におけるポリシーアラインメントの問題を、上位レベルの報酬設計と下位レベルのポリシー最適化を含む統一的な二階層最適化フレームワークとして定式化し、従来のアプローチにおける課題を解決する。