이 논문은 기반 모델을 특정 도메인이나 사용자 요구에 맞게 효율적으로 적응시키는 FLORA 프레임워크를 소개한다.
기존의 LORA 기법은 모든 입력 예제가 동일한 어댑터를 공유해야 하는 한계가 있어, 실시간 서비스 시나리오에서 효율적이지 않다.
FLORA는 각 입력 예제에 고유한 저차원 적응 가중치를 할당할 수 있어, 다양한 요구를 효율적으로 처리할 수 있다. 이를 통해 LORA의 성능 이점을 유지하면서도 배치 처리 능력을 향상시킬 수 있다.
실험 결과, FLORA는 다국어 코드 생성 및 다국어 음성 인식 작업에서 LORA와 유사한 성능을 보이면서도, 실시간 서비스 시나리오에서 2배 이상의 처리량 향상과 지연 시간 감소를 달성했다.
In un'altra lingua
dal contenuto originale
arxiv.org
Approfondimenti chiave tratti da
by Yeming Wen,S... alle arxiv.org 03-28-2024
https://arxiv.org/pdf/2312.05677.pdfDomande più approfondite