DINO-Tracker는 단일 동영상에서의 장기 밀집 포인트 추적을 위한 새로운 프레임워크입니다. 이 방법의 핵심은 사전 학습된 DINO-ViT 모델의 강력한 지역화된 의미 특징을 활용하는 것입니다.
구체적으로, DINO-Tracker는 테스트 시간 학습과 특징 최적화를 결합합니다. 동영상의 움직임 관찰을 바탕으로 DINO 특징을 적응시키는 동시에, 최적화된 특징을 직접 활용하는 추적기를 학습합니다. 이를 위해 자기 지도 학습 손실 함수를 사용하여 전체 프레임워크를 end-to-end로 학습합니다.
이 프레임워크는 다음과 같은 특징을 가집니다:
이러한 접근법을 통해 DINO-Tracker는 기존 방법들을 능가하는 성능을 보이며, 특히 장기 가림 상황에서 우수한 성과를 달성합니다.
In eine andere Sprache
aus dem Quellinhalt
arxiv.org
Wichtige Erkenntnisse aus
by Narek Tumany... um arxiv.org 03-22-2024
https://arxiv.org/pdf/2403.14548.pdfTiefere Fragen