แนวคิดหลัก
본 연구는 비디오 내 반복적 행동의 불규칙성을 모델링하여 정확한 액션 카운팅을 달성하는 새로운 접근법을 제안한다. 이를 위해 주기 세그먼트 간 일관성과 주기-간격 세그먼트 간 불일치성이라는 두 가지 핵심 원리를 도입하고, 이를 반영하는 pull-push 손실 함수를 설계하였다.
บทคัดย่อ
본 연구는 비디오 액션 카운팅(VAC) 문제에 대한 새로운 접근법을 제안한다. 기존 연구들은 주로 반복 행동의 규칙성에 초점을 맞추었지만, 실제 상황에서는 다양한 불규칙성이 존재한다. 이에 본 연구는 반복 행동의 불규칙성을 모델링하는 IVAC-P2L 프레임워크를 제안한다.
IVAC-P2L의 핵심 원리는 다음과 같다:
주기 세그먼트(반복 행동) 간 일관성: 동일한 행동이 반복되므로 주기 세그먼트의 특징 표현은 유사해야 한다.
주기-간격 세그먼트 간 불일치성: 주기 세그먼트와 간격 세그먼트(비반복 행동)는 서로 다른 특징 표현을 가져야 한다.
이를 위해 IVAC-P2L은 일관성 모듈과 불일치성 모듈을 도입하고, pull-push 손실 함수를 활용한다. pull 손실은 주기 세그먼트 간 유사성을 높이고, push 손실은 주기 세그먼트와 간격 세그먼트 간 차이를 벌린다. 이를 통해 반복 행동과 비반복 행동을 효과적으로 구분하고 정확한 액션 카운팅을 달성한다.
실험 결과, IVAC-P2L은 RepCount, UCFRep, Countix 데이터셋에서 기존 최신 방법들을 뛰어넘는 성능을 보였다. 이는 본 연구의 접근법이 비디오 내 불규칙적 반복 패턴을 효과적으로 모델링할 수 있음을 입증한다. 향후 이 연구 결과는 비디오 이해 및 분석 분야에 새로운 방향을 제시할 것으로 기대된다.
สถิติ
비디오 내 반복 행동 수는 평균 15회이며, 최소 1회에서 최대 141회까지 다양하게 나타난다.
비디오 길이는 평균 30.7초이며, 최소 4초에서 최대 88초까지 분포한다.
คำพูด
"본 연구는 비디오 내 반복 행동의 불규칙성을 모델링하여 정확한 액션 카운팅을 달성하는 새로운 접근법을 제안한다."
"IVAC-P2L은 일관성 모듈과 불일치성 모듈을 도입하고, pull-push 손실 함수를 활용하여 반복 행동과 비반복 행동을 효과적으로 구분한다."