本論文では、MDPの未知の遷移確率を効率的に推定する新しい手法を提案する。従来の手法では単純な統計的手法を用いていたが、本論文では統計学の知見を活用し、MDPの構造的特徴を活用することで、必要なサンプル数を大幅に削減できることを示す。