Core Concepts
공간적 최적화를 통해 압축된 딥 메트릭 러닝 모델을 제안하여 유사성 검색 성능을 향상시킴
Abstract
이 연구는 유사성 검색을 위한 공간적으로 최적화된 압축 딥 메트릭 러닝 모델을 제안한다. 기존 합성곱 기반 모델의 한계를 극복하기 위해 involution 레이어와 GELU 활성화 함수를 도입하였다.
제안 모델은 다음과 같이 구성된다:
초기 입력에 단일 involution 레이어 적용
이후 4개의 합성곱 레이어 (16, 32, 64, 128 필터)
글로벌 평균 풀링 후 임베딩 생성
실험 결과, 제안 모델은 CIFAR-10, FashionMNIST, MNIST 데이터셋에서 기존 모델 대비 우수한 성능을 보였으며, 모델 크기도 1MB 미만으로 매우 작다. 이는 실제 구현에 매우 유용할 것으로 기대된다.
Stats
제안 모델의 매개변수 수는 약 11만 개로 매우 적음
ResNet50V2 모델은 2300만 개의 매개변수를 가지지만, 제안 모델과 유사한 성능을 보임
Quotes
"Involution은 동적으로 커널을 생성하여 입력에 대한 주의력을 모방함으로써 이점을 제공한다."
"GELU 활성화 함수는 ReLU에 비해 더 부드러운 비선형성을 제공하여 이미지 거리 메트릭을 더 잘 유지할 수 있다."