Jumanji: A Diverse Suite of Scalable Reinforcement Learning Environments in JAX

Core Concepts

Jumanji provides fast, flexible, and scalable RL environments for industry-inspired research.

Abstract

The Jumanji suite offers diverse environments categorized into logic, packing, and routing problems. It aims to address the need for performant and modular RL environments for real-world applications. By leveraging JAX and hardware accelerators, Jumanji enables rapid iteration and large-scale experimentation. The suite allows customization of initial state distributions and problem complexity, setting a new standard for speed and adaptability in RL environments.
Logic Environments:

Game2048: Reach high-valued tile exceeding 2048.
GraphColoring: Color graph vertices without adjacent vertices sharing the same color.
Minesweeper: Clear board without detonating mines.
RubiksCube: Match stickers on each face to a single color.
SlidingTilePuzzle: Move tiles to adjacent empty slot until puzzle is sorted.
Sudoku: Fill grid with numbers ensuring each row/column has unique digits.
Packing Environments:

BinPack: Pack items into bins optimizing space usage.
FlatPack: Arrange items efficiently in a flat surface layout.
JobShop: Schedule jobs on machines to minimize completion time.
Knapsack: Select items maximizing value within weight constraint.
Tetris: Fit falling blocks to create complete rows.
Routing Environments:

Cleaner: Navigate cleaning robot through cluttered environment.
Connector CVRP: Connect node pairs efficiently in capacitated vehicle routing problem scenario.
Maze: Find path through maze while avoiding obstacles.
MMST: Construct multiple minimum spanning trees in given graph.

Stats

Open-source reinforcement learning (RL) environments have played a crucial role in driving progress in the development of AI algorithms.
In modern RL research, there is a need for simulated environments that are performant, scalable, and modular to enable their utilization in a wider range of potential real-world applications.

Quotes

Key Insights Distilled From

Jumanji

by Clém... at arxiv.org 03-19-2024

https://arxiv.org/pdf/2306.09884.pdf

Deeper Inquiries

質問1

JumanjiはOpenAI Gymのような他の人気ベンチマーク環境と比較するとどのように異なりますか？
Jumanjiは、高速で柔軟性がありスケーラブルなRL環境を提供することに焦点を当てています。一方、OpenAI Gymは広く普及しており、様々なタスクスイートや使いやすいAPIを提供しています。Jumanjiでは、産業向けに設計されたNP-hard COPs（組合せ最適化問題）を含む22種類の多様な環境が用意されており、これらは実世界の課題に即したものです。また、JAXを使用して書かれており、効率的でハードウェアとシームレスにスケールします。

質問2

カスタム初期状態分布をJumanjiの環境でカスタマイズする際に生じる可能性がある課題は何ですか？
カスタム初期状態分布を設定する際に生じる主な課題は次の通りです。

適切なジェネレーター選択：正確でバランストした初期分布を作成するために適切なジェネレーターを選択する必要があります。
パラメーター調整：初期分布パラメーター（例えば平均値や分散）の微調整が必要とされる場合があります。
結果解釈：異なる初期分布から得られた結果間で比較し解釈する際に注意深く行う必要があります。

質問3

問題複雑さの拡張性が異業種間でエージェントパフォーマンスに与える影響
問題複雑さの拡張性はエージェントパフォーマンスへ大きく影響します。例えば、「Connector」ではグリッドサイズや接続すべきノードペア数、「BinPack」では詰め込むアイテム数、「RubiksCube」ではキューブサイズや解決まで必要とされる最小手順数等変更可能です。これら変更事項ごとにエージェントパフォーマンスへ異なった挑戦や制約条件が発生し、特定産業セクター内でも同様です。そのため、各産業セクター固有のニーズや制約事項へ対応しつつエージェント訓練プロセス全体へ反映させることが重要です。