Core Concepts
大規模な3Dデータセットを活用し、自己回帰モデルの容量と拡張性を同時に向上させることで、多様で忠実な3Dシェイプを生成することができる。
Abstract
本論文では、3Dシェイプ生成のための自己回帰モデルを提案している。
まず、約90万個の多様な3Dオブジェクトからなる大規模データセット「Objaverse-Mix」を構築した。これにより、モデルが幅広い物体変化から学習できるようになった。
次に、容量の観点から、3Dグリッドベースの表現学習の課題を解決するため、離散表現学習を1次元の潜在空間で行う新しいフレームワーク「Argus3D」を提案した。これにより、計算コストの削減と幾何学的詳細の保持が可能になった。
さらに、拡張性の観点から、トランスフォーマーのレイヤー数と特徴次元を増やすことで、36億パラメータの大規模モデルを構築した。これにより、多様な条件下でより高品質な3Dシェイプを生成できるようになった。
実験の結果、Argus3Dは無条件および条件付き生成タスクで優れた性能を示し、3Dシェイプ生成の新しい水準を達成した。
Stats
3Dシェイプ生成には膨大な計算コストがかかる
3Dグリッドベースの表現学習では、次元間の順序が曖昧になる問題がある
Quotes
"自己回帰モデルは2Dイメージ生成で印象的な結果を達成してきたが、3D領域への適用には重大な課題がある。"
"我々のArgus3Dは、容量と拡張性の両面で自己回帰モデルを大幅に改善し、多様で忠実な3Dシェイプの生成を可能にする。"