이 연구는 이벤트 카메라에서 깊이 추정을 위한 혁신적인 스파이크 트랜스포머 네트워크를 제안합니다. 이 네트워크는 스파이크 구동 잔차 학습과 스파이크 자기 주의 메커니즘을 통합하여 부동 소수점 및 정수-부동 소수점 곱셈을 제거하고 에너지 소비를 크게 줄입니다.
또한 대규모 비전 기반 모델(DINOv2)에서 지식을 전이하는 새로운 단일 단계 지식 증류 프레임워크를 개발했습니다. 이를 통해 제한된 데이터에서도 SNN의 성능을 크게 향상시킬 수 있습니다.
실험 결과, 제안된 방법은 합성 및 실제 데이터 세트에서 기존 모델보다 크게 향상된 성능을 보여줍니다. 특히 절대 상대 오차와 제곱 상대 오차가 각각 49%와 39.77% 개선되었습니다. 또한 전력 소비도 크게 감소했습니다.
A otro idioma
del contenido fuente
arxiv.org
Ideas clave extraídas de
by Xin Zhang,Li... a las arxiv.org 04-29-2024
https://arxiv.org/pdf/2404.17335.pdfConsultas más profundas