本論文は、野生環境における無制限なヘッドポーズ推定(UHPE)に取り組んでいる。既存のヘッドポーズ推定データセットは、非現実的な合成サンプルや実験室収集のものが多く、または手作業でラベル付けされた少数のサンプルしかない。このため、大量のラベル付きデータに依存する深層学習ベースのソリューションが妥協を余儀なくされている。
そこで本論文は、初めての半教師あり型UHPE(SemiUHPE)手法を提案する。具体的には以下の3つの戦略を導入している:
アスペクト比不変のヘッド切り出し: 従来の特徴点ベースの顔合わせは、未ラベルの自然なヘッドや特徴点が利用できない実用アプリケーションに適していない。そのため、アスペクト比を維持したヘッド切り出しを提案する。
動的エントロピーベースのフィルタリング: 固定閾値によるプセドラベルのフィルタリングでは、ノイズの多い未ラベルデータに適応できない。そこで、訓練の進行に合わせて閾値を動的に更新するフィルタリング手法を提案する。
ヘッド指向の強データ拡張: 従来の弱-強データ拡張に加え、ポーズ非依存の切り抜きオクルージョンと姿勢変化の一貫性の2つの新しい強データ拡張手法を提案する。
実験では、提案手法が既存の教師あり手法や半教師あり ベースラインを大幅に上回る性能を示すことを確認した。特に、野生の複雑なヘッドに対する推定結果が良好であり、実用アプリケーションに有望である。
他の言語に翻訳
原文コンテンツから
arxiv.org
深掘り質問