本論文は、点群ビデオの表現学習を部分微分方程式の解法問題として定式化する新しい手法を提案している。
まず、PointNet++ベースのエンコーダを用いて点群の初期的な空間変化を捉える。その後、時間情報から空間情報を再構成するPDE解法モジュールを導入し、空間-時間相関をモデル化する。
PDE解法モジュールは、対照学習の枠組みの中で最適化されるため、空間と時間の特徴表現の整合性と均一性が向上する。
提案手法は、MSRAction-3Dデータセットにおいて97.52%の高精度を達成し、従来手法を大きく上回る。さらに、パラメータ数0.72M、FLOPs 0.82Gと非常に軽量な設計となっている。
また、PDE解法モジュールの自己教師学習への応用可能性も示唆されている。
Para Outro Idioma
do conteúdo original
arxiv.org
Principais Insights Extraídos De
by Zhuoxu Huang... às arxiv.org 04-09-2024
https://arxiv.org/pdf/2404.04720.pdfPerguntas Mais Profundas