핵심 개념
기존 방법들은 자기 교차 현상을 완전히 제거하지 못하지만, CLOAF는 미분 가능한 방식으로 자기 교차 현상을 완전히 제거하면서도 실제적인 인체 모델 생성이 가능합니다.
초록
이 논문은 인체 3D 형상과 자세를 추정하는 최신 알고리즘들이 여전히 신체 부위 간 자기 교차 현상을 포함하는 결과를 생성한다는 문제를 다룹니다. 이를 해결하기 위해 저자들은 CLOAF (CoLlisiOn-Aware Human Flow)라는 새로운 접근법을 제안합니다.
CLOAF는 상미분 방정식 (ODE)의 미분형 성질을 활용하여 자기 교차 현상을 제거하면서도 신체 형상 제약을 유지할 수 있습니다. 이를 통해 기존 방법들과 달리 자기 교차 현상을 완전히 제거할 수 있습니다. 또한 CLOAF는 미분 가능하므로 포즈 및 형상 추정 기준선을 미세 조정하여 전체 성능을 향상시키고 예측 결과의 자기 교차 현상을 제거할 수 있습니다.
더 나아가 CLOAF 전략을 사용자가 정의한 임의의 동작 필드에 적용할 수 있습니다. 이를 통해 잠재적인 충돌이나 신체 형상 사전 정보 손실 없이 환경과의 상호 작용을 모델링할 수 있습니다.
통계
현재 최고 성능의 HMR2.0 모델은 3DPW-test 데이터셋에서 39.2%의 프레임에서 자기 교차 현상이 발생합니다.
최근 후처리 방법인 SMPLify-X를 적용하면 자기 교차 현상이 9.2%로 감소합니다.
CLOAF는 자기 교차 현상을 완전히 제거하여 0%의 충돌률을 달성합니다.
인용구
"Even the best current algorithms for estimating body 3D shape and pose yield results that include body self-intersections."
"CLOAF prevents self-intersections in a differentiable manner and without an explicit detection step."
"CLOAF can also be used in a more sophisticated manner to remove self-intersections from the output of single-frame pose estimators, such as [10], while remaining as close as possible to the original poses."