Core Concepts
실시간 객체 추적을 위해 동적 트랜스포머 프레임워크인 DyTrack을 제안한다. DyTrack은 입력 데이터의 복잡도에 따라 적절한 추론 경로를 자동으로 선택하여 계산 자원을 효율적으로 활용할 수 있다.
Abstract
이 논문은 효율적인 객체 추적을 위한 동적 트랜스포머 프레임워크인 DyTrack을 제안한다.
실시간 객체 추적에서는 정확도와 속도가 모두 중요하지만, 기존 연구들은 이 두 가지를 균형있게 다루지 못했다.
DyTrack은 입력 데이터의 복잡도에 따라 적절한 추론 경로를 자동으로 선택하여 계산 자원을 효율적으로 활용한다.
이를 위해 DyTrack은 중간 층에 결정 분기를 추가하여 현재 특징 표현이 충분히 신뢰할 만한 경우 조기 종료를 수행한다.
또한 특징 재활용 메커니즘을 도입하여 계산의 중복을 줄이고, 목표 인지 자기 증류 전략을 통해 초기 예측의 성능을 향상시킨다.
실험 결과, DyTrack은 다양한 벤치마크에서 우수한 속도-정확도 트레이드오프를 달성했다. 예를 들어 LaSOT 데이터셋에서 256fps의 속도로 64.9%의 AUC 성능을 보였다.
Stats
모델 깊이가 12층에서 4층으로 감소할 때 추론 속도가 105fps에서 265fps로 2.5배 증가하고, AUC 점수는 68.4%에서 61.1%로 7.3% 감소한다.
DyTrack-Fast는 LaSOT에서 256fps의 속도로 64.9%의 AUC 성능을 달성했다.
DyTrack-Medi는 LaSOT에서 196fps의 속도로 66.5%의 AUC 성능을 달성했다.
DyTrack-Base는 LaSOT에서 90fps의 속도로 69.2%의 AUC 성능을 달성했다.
Quotes
"실시간 객체 추적에서는 효율성과 성능이 모두 중요하다."
"다양한 입력에 대해 서로 다른 네트워크 구조나 전파 경로를 할당할 수 있다면 계산 자원을 효율적으로 활용할 수 있을 것이다."