Core Concepts
대규모 모델은 다양한 분야에서 뛰어난 성과를 달성했지만, 막대한 계산 비용이 수반된다. 매개변수 효율적 미세 조정(PEFT)은 대규모 모델을 특정 작업이나 도메인에 맞게 효율적으로 적응시키는 실용적인 솔루션을 제공한다.
Abstract
이 논문은 PEFT 알고리즘의 다양한 유형을 체계적으로 검토하고 분류하며, 다양한 시나리오에서 PEFT 알고리즘과 관련된 시스템 구현 비용을 조사한다.
첫째, 추가적 PEFT 기법은 새로운 학습 가능한 모듈이나 매개변수를 모델 아키텍처에 주입하여 성능을 향상시킨다. 대표적인 예로는 어댑터, 소프트 프롬프트 등이 있다.
둘째, 선택적 PEFT 기법은 기존 모델 매개변수의 일부만 미세 조정하여 매개변수 효율성을 높인다. 이는 비구조적 마스킹과 구조적 마스킹으로 구분된다.
셋째, 재매개변수화 PEFT 기법은 모델 매개변수를 저차원 재매개변수화하여 학습하고, 추론 시 원래 형태로 변환한다. 대표적으로 LoRA, DoRA 등이 있다.
넷째, 하이브리드 PEFT 기법은 다양한 PEFT 방법의 장점을 결합한다.
이 외에도 PEFT 효율성을 높이기 위한 다양한 기법, PEFT의 실제 응용 사례, 그리고 PEFT 구현을 위한 시스템 설계 등이 다루어진다.
Stats
대규모 언어 모델인 LLaMA-7B의 경우 매개변수 수는 약 7억 개이며, 계산 복잡도는 입력 길이에 대해 2차 스케일링된다.