실제 환경에서 제약 없는 보행 인식을 위한 다중 모달 계층 네트워크 HiH

Khái niệm cốt lõi

제안된 HiH 네트워크는 실제 환경에서 보행 인식을 위해 실루엣과 자세 데이터를 통합하여 다중 스케일의 보행 특징을 학습한다.

Tóm tắt

이 논문은 실제 환경에서의 보행 인식을 위한 HiH(Hierarchy in Hierarchy) 네트워크를 제안한다. HiH는 실루엣 데이터와 2D 관절 데이터를 통합하여 보행 특징을 학습한다.
주요 내용은 다음과 같다:

실루엣 데이터를 이용하여 전반적인 보행 패턴을 학습하는 주 분기와, 2D 관절 데이터를 이용하여 공간적 및 시간적 특징을 보강하는 보조 분기로 구성된 다중 모달 프레임워크를 제안한다.
주 분기에서는 계층적 보행 분해기(HGD) 모듈을 사용하여 전체 신체 동작에서 세부 관절 움직임까지 다양한 공간 해상도의 보행 특징을 학습한다.
보조 분기에서는 관절 데이터를 이용하여 공간적 주의 집중(DSE) 및 시간적 정렬(DTA) 모듈을 통해 실루엣 특징을 보강한다.
실내외 다양한 데이터셋에서 기존 방법들을 능가하는 성능을 보였으며, 정확도와 효율성의 균형을 잘 유지하고 있다.

Thống kê

실루엣 데이터와 2D 관절 데이터를 통합하여 보행 특징을 학습함으로써 기존 방법들보다 우수한 성능을 달성했다.

Trích dẫn

없음

Thông tin chi tiết chính được chắt lọc từ

HiH: A Multi-modal Hierarchy in Hierarchy Network for Unconstrained Gait Recognition

by Lei Wang,Bo ... lúc arxiv.org 05-02-2024

https://arxiv.org/pdf/2311.11210.pdf

Yêu cầu sâu hơn

질문 1

HiH는 실제 환경에서 발생할 수 있는 심각한 가림 현상에 대응하기 위해 Deformable Spatial Enhancement (DSE) 및 Deformable Temporal Alignment (DTA) 모듈을 도입했습니다. DSE 모듈은 학습된 변형 오프셋을 활용하여 입력된 실루엣을 동적으로 왜곡시켜 중요한 공간적 보폭을 강조하고 해당 자세에 맞게 정렬합니다. 이를 통해 공간적으로 향상된 HiH는 더욱 구별력 있는 보행 분석을 실현합니다.

질문 2

HiH의 성능을 더욱 향상시키기 위해 3D 관절 정보를 활용할 수 있습니다. 다양한 시점에서 3D 관절 정보를 통합하여 관절 동작 오류를 완화하고 보다 정확한 자세 추정을 제공할 수 있습니다. 이를 통해 HiH는 보다 정확한 공간적 및 시간적 의존성을 추출하여 보다 강력한 특징을 학습할 수 있습니다.

질문 3

HiH의 자동화된 모델 설계 최적화 기법을 통해 추가적인 성능 향상을 기대할 수 있습니다. 이를 통해 HiH는 더욱 효율적인 모델을 설계하고 최적화할 수 있으며, 더 나은 성능을 달성할 수 있습니다. 또한 도메인 적응 기술을 적용하여 다양한 의상 유형과 같은 다양한 요인에 대응할 수 있도록 모델을 개선할 수 있습니다.