本論文は、人体姿勢推定における極端な視点の課題に取り組んでいる。従来のデータセットは主に側面や正面からの画像が中心であり、上方や下方からの視点が不足していた。
提案手法 RePoGen は、SMPL モデルを使ってさまざまな姿勢と視点の合成画像を生成する。関節の回転角度を制限することで、解剖学的に不可能な姿勢も生成可能となる。これにより、稀少な姿勢や視点を網羅できる。
実験では、RePoGen で生成した合成データを COCO データセットに追加して学習したモデルが、従来手法に比べて極端な視点の姿勢推定精度を大幅に向上させることを示した。特に、上方や下方からの視点での精度が大きく改善された。
一方で、合成データの解剖学的な正確性は必須ではないことも明らかになった。むしろ、姿勢の多様性が重要であり、RePoGen は解剖学的に不可能な姿勢も生成できるため、優れた性能を発揮する。
本研究は、極端な視点における人体姿勢推定の精度向上に大きく貢献するものと考えられる。提案手法 RePoGen と新規に収集したデータセット RePo は公開される予定である。
לשפה אחרת
מתוכן המקור
arxiv.org
תובנות מפתח מזוקקות מ:
by Miroslav Pur... ב- arxiv.org 04-23-2024
https://arxiv.org/pdf/2307.06737.pdfשאלות מעמיקות