이 연구에서는 이종 모델 간 지식 전이에 초점을 맞추고 있다. 기존의 지식 전이 방법들은 모델 구조나 작업별 특징/레이블 등 공유 요소에 의존하여 복잡한 모델 유형이나 작업에 적용하기 어려웠다.
MergeNet은 이러한 한계를 극복하기 위해 제안되었다. MergeNet은 모델 매개변수 공간의 차이를 연결하여 이종 모델 간 직접적인 상호작용, 추출 및 적용이 가능하도록 한다. 핵심 메커니즘은 저차원 매개변수 어댑터로, 소스 모델의 저차원 매개변수를 쿼리하고 타겟 모델의 매개변수로 효과적으로 매핑한다. MergeNet은 두 모델과 함께 학습되므로 현재 단계에 관련된 지식을 동적으로 전이하고 적응할 수 있다.
다양한 실험을 통해 MergeNet이 구조, 모달리티, 작업이 다른 모델 간 지식 전이에서 뛰어난 성능을 보임을 확인했다. 예를 들어, MobileNetV2의 Top-1 정확도가 1.02% 향상되었다. 또한 MergeNet은 기존 지식 증류 기법을 능가하는 결과를 보였다.
To Another Language
from source content
arxiv.org
Önemli Bilgiler Şuradan Elde Edildi
by Kunxi Li,Tia... : arxiv.org 04-23-2024
https://arxiv.org/pdf/2404.13322.pdfDaha Derin Sorular