Core Concepts
본 연구는 이벤트 기반 동작 인식을 위해 언어 정보를 활용하여 개념적 추론과 불확실성 추정을 수행하는 ExACT 프레임워크를 제안한다.
Abstract
본 연구는 이벤트 기반 동작 인식을 위한 새로운 접근법을 제안한다. 기존 연구는 이벤트 데이터의 복잡하고 모호한 의미론적 특성으로 인해 한계를 보였다. 이에 본 연구는 언어 정보를 활용하여 이러한 문제를 해결하고자 한다.
구체적으로 다음과 같은 기술적 기여를 제안한다:
적응형 고해상도 이벤트(AFE) 표현을 제안하여 정지 객체의 반복 이벤트를 제거하고 동적 이벤트를 보존함으로써 성능을 향상시킨다.
개념적 추론 기반 불확실성 추정(CRUE) 모듈을 제안하여 동작의 시간적 관계를 파악하고 의미론적 불확실성을 해결한다.
실험 결과, 제안한 ExACT 모델이 기존 방법 대비 PAF 데이터셋에서 2.23%, HARDVS 데이터셋에서 37.47% 향상된 성능을 보였다. 또한 새로 제안한 SeAct 데이터셋에서도 67.24%의 우수한 성능을 달성했다.
Stats
이벤트 데이터의 평균 지속 시간은 약 5초이며, 정지 객체의 경우 약 0.1초로 짧다.
동작 데이터는 복잡하고 모호한 의미론적 특성을 가지고 있다.
Quotes
"이벤트 카메라는 최근 실용적인 비전 작업, 예를 들어 동작 인식에 유익한 것으로 입증되었다."
"언어는 풍부한 의미론적 정보를 전달하므로 의미론적 불확실성을 줄이는 데 탁월한 성능을 보인다."