本論文では、DreamGardenと呼ばれるAIシステムを紹介する。このシステムは、ユーザーが入力した自由な夢のようなプロンプトから、Unreal Engineで実行可能な3Dシミュレーション環境を自動的に生成することができる。
システムの中核となるのは、LLMベースのプランナーである。このプランナーは、入力されたプロンプトを階層的な行動計画に分解し、各タスクを専門的なサブモジュールに割り当てる。サブモジュールは、コード生成、メッシュ生成、アセットダウンロードなどの具体的な実装を担当する。これらのサブモジュールが協調して、最終的な3Dシミュレーション環境を構築する。
ユーザーはノードベースのGUIを通じて、この自動生成プロセスに介入し、プランの修正や具体的な実装の調整を行うことができる。ユーザースタディの結果、このシステムは初期のプロトタイピングに有用であり、ユーザーが直接介入できる柔軟性が高く評価された。一方で、より複雑なゲームメカニクスの生成には課題があることも明らかになった。今後の課題としては、パフォーマンスの向上、中間出力の可視化、ユーザーとの対話性の強化などが挙げられる。
לשפה אחרת
מתוכן המקור
arxiv.org
תובנות מפתח מזוקקות מ:
by Sam Earle, S... ב- arxiv.org 10-03-2024
https://arxiv.org/pdf/2410.01791.pdfשאלות מעמיקות