이 논문은 3D 관절 기반 동작 인식을 위한 유사도 측정 방법 JEANIE를 제안한다. JEANIE는 동작 시퀀스 간 시간적 정렬과 시점 정렬을 동시에 수행하여 유사도를 측정한다.
먼저 입력 시퀀스를 짧은 시간 블록으로 분할하고, 각 블록에 대해 다양한 시점 변화를 시뮬레이션한다. 이를 인코딩 네트워크를 통해 특징 맵으로 변환한다.
JEANIE는 이 특징 맵들 간 시간-시점 정렬을 수행하여 유사도를 계산한다. 이때 시간 정렬과 시점 정렬을 동시에 고려하여 최적의 정렬 경로를 찾는다. 이를 통해 동작 속도, 위치, 자세 변화 등의 요인을 효과적으로 제거할 수 있다.
제안된 JEANIE 방법은 소량의 샘플로 구성된 새로운 동작 클래스에 대한 인식 성능이 우수하다. 또한 비지도 학습 환경에서도 JEANIE를 활용하여 동작 시퀀스 간 유사도를 측정할 수 있다. 나아가 지도 학습과 비지도 학습을 융합한 방법도 제안한다.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Lei Wang,Jun... at arxiv.org 03-26-2024
https://arxiv.org/pdf/2402.04599.pdfDeeper Inquiries