Belangrijkste concepten
이미지 데이터에 대한 레이블이 없는 상황에서 이벤트 데이터로 지식을 전이하는 새로운 프레임워크 EventDance를 제안한다.
Samenvatting
본 논문은 이미지 데이터에 대한 레이블이 없는 상황에서 이벤트 데이터로 지식을 전이하는 새로운 프레임워크 EventDance를 제안한다.
- 이미지 모달리티의 사전 학습된 모델과 이벤트 모달리티의 레이블 없는 데이터를 활용하여 크로스 모달 적응을 수행한다.
- 이벤트 데이터에서 이미지 데이터를 재구성하는 재구성 기반 모달리티 브리징(RMB) 모듈을 제안하여 모달리티 간 격차를 해소한다.
- 다양한 이벤트 표현을 활용하는 다중 표현 지식 적응(MKA) 모듈을 제안하여 이벤트의 시공간 정보를 효과적으로 활용한다.
- 세 가지 벤치마크 데이터셋에서 기존 방법들을 크게 능가하는 성능을 보여준다.
Statistieken
이벤트 데이터에서 추출한 객체 인식 성능 지표는 다음과 같다:
N-MNIST 데이터셋에서 ResNet-18 backbone으로 71.00%의 정확도를 달성했다.
CIFAR10-DVS 데이터셋에서 ResNet-18 backbone으로 62.13%의 정확도를 달성했다.
N-CALTECH101 데이터셋에서 ResNet-18 backbone으로 66.77%의 정확도를 달성했다.
Citaten
"이미지 데이터에 대한 레이블이 없는 상황에서 이벤트 데이터로 지식을 전이하는 새로운 프레임워크 EventDance를 제안한다."
"이벤트 데이터에서 이미지 데이터를 재구성하는 재구성 기반 모달리티 브리징(RMB) 모듈을 제안하여 모달리티 간 격차를 해소한다."
"다양한 이벤트 표현을 활용하는 다중 표현 지식 적응(MKA) 모듈을 제안하여 이벤트의 시공간 정보를 효과적으로 활용한다."