이 논문은 원격 생리학적 측정(rPPG)을 위한 RhythmMamba라는 새로운 방법을 제안한다. rPPG는 비접촉식 방법으로 얼굴 비디오에서 생리학적 신호를 감지할 수 있어 다양한 응용 분야에 활용될 수 있다.
논문의 주요 내용은 다음과 같다:
기존 방법들은 비디오 세그먼트에서 약한 rPPG 신호를 추출하거나 장기 의존성을 모델링하는 데 어려움이 있었다. RhythmMamba는 Mamba 기반의 접근법을 통해 이 두 가지 문제를 동시에 해결한다.
공간 정보가 Mamba의 시간 정보 이해에 방해가 된다는 점을 발견하고, 이를 해결하기 위해 프레임 스템 모듈을 도입하여 공간 정보를 채널 정보로 통합하였다.
RhythmMamba는 선형 복잡도를 가지므로 임의 길이의 비디오에 대해 성능 저하 없이 적용할 수 있다. 이를 통해 모바일 기기에 적합한 rPPG 시스템을 구현할 수 있다.
다양한 실험을 통해 RhythmMamba가 기존 최신 방법들을 능가하는 성능을 보이며, 파라미터와 계산량도 크게 감소했음을 확인하였다.
To Another Language
from source content
arxiv.org
Key Insights Distilled From
by Bochao Zou,Z... at arxiv.org 04-10-2024
https://arxiv.org/pdf/2404.06483.pdfDeeper Inquiries