Core Concepts
複雑な迷路を視覚的に部分的に観測できる状態下で、単純なBraitenberg型のヒューリスティックを自然発生的に進化させることで、ナビゲーションを達成できる。
Abstract
本研究では、ViZDoomの'My Way Home'タスクにおいて、Braitenberg型の簡単なヒューリスティックを自然発生的に進化させることで、複雑な迷路を視覚的に部分的に観測できる状態下でナビゲーションを達成できることを示した。
具体的には以下の点が明らかになった:
TPGアプローチにより、状態空間の0.8%しか利用しない非常にシンプルなソリューションを発見できた。一方、DQNは同タスクを解くことができなかった。
TPGソリューションは、部屋の壁に沿って徐々に旋回しながら移動し、コーナーでは方向を切り替えるといった、Braitenberg型の簡単な反応的ヒューリスティックを自然発生的に発見していた。
このような単純な行動ルールが、複雑な迷路ナビゲーションを可能にしていた。
部屋の形状や入り口/出口の位置を変更すると、ヒューリスティックがどのように変化するかを今後検討する必要がある。
Stats
部屋25から出発した場合、DQNは-0.21の報酬しか得られなかったが、TPGは0.997の報酬を得ることができた。
部屋22から出発した場合、TPGは0.867の報酬を得ることができた。
部屋15から出発した場合、TPGは0.997の報酬を得ることができた。
Quotes
"複雑な迷路を視覚的に部分的に観測できる状態下で、単純なBraitenberg型のヒューリスティックを自然発生的に進化させることで、ナビゲーションを達成できる。"
"TPGソリューションは、部屋の壁に沿って徐々に旋回しながら移動し、コーナーでは方向を切り替えるといった、Braitenberg型の簡単な反応的ヒューリスティックを自然発生的に発見していた。"