マルコフ決定過程における有限時間結合確率制約付き最適制御問題は、従来の動的計画法では解けない非マルコフ構造を持つが、本稿では、過去軌道が安全であったかどうかを捉えるバイナリ状態を導入することで、最適ポリシーを特徴付け、動的計画法に基づく解法を開発する。