Kernekoncepter
생성 이미지의 포즈 일관성과 다양한 외형을 활용하여 인간 신체 구조 특징을 효과적으로 학습할 수 있는 새로운 다중 긍정 대조 학습 방법을 제안한다.
Resumé
이 연구는 생성 모델의 발전을 활용하여 인간 포즈가 일관되면서도 외형이 다양한 이미지를 생성하고, 이를 활용한 새로운 다중 긍정 대조 학습 방법을 제안한다.
먼저, 안정 확산 모델과 T2I-Adapter를 활용하여 동일한 포즈에서 외형이 다양한 이미지를 생성한다. 이렇게 생성된 이미지 쌍을 활용하여 포즈 일관성 있는 다중 긍정 대조 학습을 수행한다. 이를 통해 인간 신체 구조 특징을 효과적으로 학습할 수 있다.
또한 [POSE] 토큰을 도입하여 식별 가능한 인간 특징과 포즈 관련 특징을 동시에 학습할 수 있도록 한다. 실험 결과, 제안 방법인 GenPoCCL은 기존 방법 대비 적은 양의 데이터(1% 미만)로도 다양한 인간 중심 인식 과제에서 우수한 성능을 달성할 수 있음을 보여준다.
Statistik
제안 방법인 GenPoCCL은 기존 방법 대비 1% 미만의 데이터만으로도 우수한 성능을 달성할 수 있다.
GenPoCCL은 MPII 데이터셋에서 89.2%의 PCKh 성능을 보였으며, Market-1501 데이터셋에서 83.0%의 mAP 성능을 보였다.
GenPoCCL은 RSTPReid 데이터셋에서 46.2%의 Rank-1 성능을 보였으며, PA-100K 데이터셋에서 79.0%의 mA 성능을 보였다.
Citater
"생성 이미지의 포즈 일관성과 다양한 외형을 활용하여 인간 신체 구조 특징을 효과적으로 학습할 수 있는 새로운 다중 긍정 대조 학습 방법을 제안한다."
"제안 방법인 GenPoCCL은 기존 방법 대비 적은 양의 데이터(1% 미만)로도 다양한 인간 중심 인식 과제에서 우수한 성능을 달성할 수 있음을 보여준다."