본 연구는 고해상도 의료 영상 분류를 위한 새로운 매개변수 및 메모리 효율적인 미세 조정 기법인 세부적인 프롬프트 튜닝(FPT)을 제안한다. FPT는 다음과 같은 핵심 구성 요소로 이루어져 있다:
측면 튜닝: FPT는 대용량 사전 학습 모델(LPM)의 매개변수를 고정한 채 경량 측면 네트워크를 학습한다. 이를 통해 메모리 사용량을 크게 줄일 수 있다.
비대칭 입력: FPT는 LPM에 고해상도 입력을, 측면 네트워크에 저해상도 입력을 제공한다. 이를 통해 세부적인 정보를 효과적으로 추출할 수 있다.
세부적인 프롬프트 및 융합 모듈: FPT는 학습 가능한 세부적인 프롬프트와 융합 모듈을 도입하여 LPM의 사전 학습 지식을 효과적으로 활용한다.
중요 토큰 선택: FPT는 중요 토큰 선택 기법을 통해 입력 시퀀스 길이를 줄여 메모리 사용량을 추가로 감소시킨다.
사전 학습 특징 사전 로드: FPT는 LPM의 중간 특징을 사전에 로드하여 학습 비용을 크게 줄인다.
실험 결과, FPT는 기존 방법 대비 최고의 성능-매개변수-메모리 효율성 트레이드오프를 보여주었다. 특히 메모리 사용량이 기존 방법의 13%에 불과하면서도 성능은 두 번째로 우수한 것으로 나타났다.
To Another Language
from source content
arxiv.org
Głębsze pytania