本論文では、DreamGardenと呼ばれるAIシステムを紹介する。このシステムは、ユーザーが入力した自由な夢のようなプロンプトから、Unreal Engineで実行可能な3Dシミュレーション環境を自動的に生成することができる。
システムの中核となるのは、LLMベースのプランナーである。このプランナーは、入力されたプロンプトを階層的な行動計画に分解し、各タスクを専門的なサブモジュールに割り当てる。サブモジュールは、コード生成、メッシュ生成、アセットダウンロードなどの具体的な実装を担当する。これらのサブモジュールが協調して、最終的な3Dシミュレーション環境を構築する。
ユーザーはノードベースのGUIを通じて、この自動生成プロセスに介入し、プランの修正や具体的な実装の調整を行うことができる。ユーザースタディの結果、このシステムは初期のプロトタイピングに有用であり、ユーザーが直接介入できる柔軟性が高く評価された。一方で、より複雑なゲームメカニクスの生成には課題があることも明らかになった。今後の課題としては、パフォーマンスの向上、中間出力の可視化、ユーザーとの対話性の強化などが挙げられる。
In un'altra lingua
dal contenuto originale
arxiv.org
Approfondimenti chiave tratti da
by Sam Earle, S... alle arxiv.org 10-03-2024
https://arxiv.org/pdf/2410.01791.pdfDomande più approfondite