드론 영상 객체 감지를 위한 작업별 상호 리프팅 기반 중심성 인식 인스턴스 지식 증류
드론 영상의 객체 감지를 위해 지식 증류 기술을 적용할 때 발생하는 문제점을 해결하고, 특히 저조도 환경 및 작은 객체 감지 성능을 향상시키는 새로운 방법론을 제시한다.
블록 단위 로짓 디스틸레이션을 통한 암묵적 특징 정렬 기반 지식 증류
본 논문에서는 특징 기반 지식 증류 방식과 로짓 기반 지식 증류 방식을 통합하여, 블록 단위 로짓 디스틸레이션이라는 새로운 지식 증류 프레임워크를 제안합니다. 이 프레임워크는 중간 단계 모델을 활용하여 암묵적으로 특징 수준 정렬을 수행함으로써, 기존 방식의 한계를 극복하고 더욱 효과적인 지식 전이를 가능하게 합니다.
온보드 위성 지구 관측 영상 분류를 위한 의미적 지식 증류: 경량화 모델 ResNet8 성능 향상
본 연구는 제한된 자원 환경에서 효율적인 지구 관측 영상 분류를 위해 동적 가중치 기반 지식 증류 프레임워크를 제시하고, 특히 ResNet8 모델이 높은 정확도와 효율성을 달성하여 온보드 위성 애플리케이션에 적합함을 보여줍니다.
선택적 학습 전략을 사용하는 BabyLlama: 역 KL Divergence를 사용한 단일 교사 지식 증류를 통한 모드 탐색 행동 유도
단일 교사 모델과 역 KL Divergence를 사용한 지식 증류 방식이 제한된 데이터 환경에서 언어 모델의 학습 효율성과 일반화 능력을 향상시키는 데 효과적임을 보여줍니다.
고차원 지식 증류 분석: 약-강 일반화 및 스케일링 법칙 (고차원 회귀 문제에서 지식 증류의 효과와 한계에 대한 심층 분석)
고차원 회귀 문제에서 최적의 지식 증류는 약-강 일반화를 가능하게 하여 표준 모델보다 성능을 향상시킬 수 있지만, 데이터 스케일링 법칙의 한계는 극복하지 못한다.
오픈소스 대형 언어 모델을 활용한 지식 증류: 일반화 성능 및 합성 데이터의 역할
대형 언어 모델(LLM)의 지식을 소형 LLM으로 효과적으로 전이하기 위해서는 작업별 합성 데이터 활용과 다양한 평가 지표를 통한 객관적인 성능 측정이 중요하다.
수학적 추론을 위한 자기 주도 반복 지식 증류(SIKeD)
대규모 언어 모델(LLM)에서 소규모 모델로 추론 능력을 효과적으로 전이하기 위해 LLM 데이터와 자기 생성 데이터를 결합한 자기 주도 반복 지식 증류(SIKeD) 방법론을 제시한다.
사전 훈련된 언어 모델을 위한 지식 증류 기술: MiniPLM
MiniPLM은 대규모 언어 모델의 지식을 소규모 언어 모델에 효율적이고 유연하게 전이하기 위해 고안된 지식 증류 프레임워크로, 차별적 샘플링을 통해 사전 훈련 데이터의 질을 향상시켜 소규모 모델의 성능을 향상시킵니다.
롱테일 시퀀스 레벨 지식 증류에서 균형을 맞춘 다단계 증류: 효율적인 지식 전이를 위한 새로운 프레임워크
대규모 언어 모델 (LLM)에서 작은 모델로 지식을 효율적으로 전이하기 위해, 특히 롱테일 데이터 분포에서 발생하는 문제를 해결하기 위해 다단계 균형 증류 (BalDistill) 프레임워크를 제안합니다.
다중 모달 대형 언어 모델을 증류하는 프레임워크, LLaVA-KD
대형 다중 모달 언어 모델(l-MLLM)의 성능을 유지하면서도 크기와 계산 복잡성을 줄인 경량화 모델(s-MLLM)을 위한 지식 증류 프레임워크 LLaVA-KD를 제안한다.
© 2024 by Linnk AI