핵심 개념
합성 데이터를 활용하여 기존 데이터셋에서 부족했던 희귀 자세와 뷰에 대한 인체 자세 추정 성능을 향상시킬 수 있다.
초록
이 논문은 2D 인체 자세 추정 문제에서 희귀 카메라 뷰에 대한 성능 향상을 다룹니다. 기존 데이터셋은 주로 측면, 정면, 후면 등의 일반적인 뷰에 초점을 맞추고 있어, 천장 및 바닥 뷰와 같은 극단적인 뷰에 대한 성능이 부족했습니다.
저자들은 SMPL 기반의 합성 데이터 생성 방법인 RePoGen을 제안합니다. RePoGen은 기존 방식과 달리 해부학적 정확성보다는 자세의 다양성에 초점을 맞추어 새로운 자세를 생성할 수 있습니다. 실험 결과, RePoGen 데이터를 COCO 데이터셋에 추가하여 학습한 모델이 기존 접근법보다 극단적인 뷰에서 우수한 성능을 보였습니다. 또한 해부학적 정확성이 반드시 필요하지 않다는 것을 확인했습니다.
논문의 주요 기여는 다음과 같습니다:
- RePoGen: 3D 스캔 없이도 새로운 자세를 생성할 수 있는 합성 데이터 생성 방법
- RePoGen 데이터셋: 희귀 자세와 뷰를 우선적으로 생성한 합성 데이터셋
- RePo 데이터셋: 실제 영상에서 추출한 희귀 자세의 수동 주석 데이터셋
- RePoGen 데이터를 활용해 COCO 데이터셋을 보완한 ViTPose 모델: 극단적인 뷰에서 성능 향상
통계
기존 COCO 데이터셋에 비해 RePoGen 데이터를 추가하면 상단 뷰에서 AP가 40.9%에서 55.7%로 향상되었습니다.
하단 뷰에서는 AP가 35.1%에서 61.8%로 크게 향상되었습니다.
회전 데이터 증강을 적용하면 PoseFES 데이터셋에서 AP가 68.9%에서 74.4%로 향상되었습니다.
인용구
"RePoGen은 해부학적 정확성보다는 자세의 다양성에 초점을 맞추어 새로운 자세를 생성할 수 있습니다."
"해부학적 정확성이 반드시 필요하지 않다는 것을 확인했습니다."