저랭크 프롬프트 적용으로 돌아온 프롬프트 튜닝: 파운데이션 모델을 효율적으로 커스터마이징하는 방법

핵심 개념

본 논문에서는 적은 파라미터를 사용하면서도 기존 프롬프트 튜닝 방법보다 성능이 뛰어나고 전체 미세 조정 및 LoRA와 비슷한 성능을 보이는 인스턴스별 소프트 프롬프팅 방법인 LoPA(Low-Rank Prompt Adaptation)를 제안합니다.

초록

LoPA: 효율적인 파운데이션 모델 커스터마이징을 위한 저랭크 프롬프트 적용

본 연구 논문에서는 대규모 언어 모델(L LM)을 특정 작업에 효율적으로 적용하기 위한 새로운 프롬프트 튜닝 방법인 LoPA(Low-Rank Prompt Adaptation)를 소개합니다.

연구 배경 및 목적

최근 LLM은 퓨샷 학습 능력이 뛰어나지만, 특정 작업에 최적화하기 위해서는 여전히 미세 조정이 중요합니다. 하지만 모델이 커짐에 따라 모든 파라미터를 업데이트하는 것은 비효율적입니다. 이에 따라 적은 수의 파라미터만 조정하는 파라미터 효율적인 미세 조정(PEFT) 기법이 주목받고 있습니다. 하지만 기존 PEFT 방법들은 작업별 어댑터를 저장해야 하므로 확장성에 제약이 있습니다. 프롬프트 튜닝은 작업별 입력 접두어를 통해 모델을 커스터마이징하여 이러한 문제를 해결할 수 있는 방법이지만, LoRA와 같은 다른 PEFT 방법에 비해 성능이 떨어진다는 단점이 있습니다.

본 연구에서는 프롬프트 튜닝 기반 접근 방식인 LoPA를 제안하여 기존 방법들의 단점을 보완하고자 합니다. LoPA는 최첨단 PEFT 방법 및 전체 미세 조정과 비슷한 성능을 달성하면서도 파라미터 효율성이 높고 서버 기반 어댑터가 필요하지 않습니다.

LoPA의 주요 특징

LoPA는 작업별 정보를 모든 인스턴스에서 공유하는 작업별 요소와 각 인스턴스의 정보를 통합하는 인스턴스별 요소, 두 가지 구성 요소로 소프트 프롬프트를 생성합니다. 이는 기존 연구들처럼 한 가지 구성 요소에만 의존하는 것보다 더 나은 성능을 보입니다.

1. 작업별 및 인스턴스별 정보의 균형

LoPA는 게이팅 함수를 사용하여 작업별 및 인스턴스별 구성 요소를 결합하여 각 인스턴스에 따라 작업별 정보를 활성화합니다.

2. 저랭크 분해를 통한 파라미터 효율성 향상

인스턴스 수준 구성 요소에 저랭크 분해를 사용하여 파라미터 효율성을 향상시킵니다.

3. 서버측 수정 불필요

학습된 소프트 프롬프트는 입력에 접두어로 추가되어 서버에서 작업별 파라미터를 저장할 필요가 없습니다.

실험 및 결과

GLUE 데이터 세트의 6가지 벤치마크 NLU 작업과 MBPP 벤치마크의 코드 생성 작업, CruxEval 벤치마크의 두 가지 코드 이해 작업을 포함한 다양한 모델에서 광범위한 실험을 수행했습니다.

1. NLU 작업

LoPA는 기존 프롬프트 튜닝 방법 및 DePT보다 평균적으로 높은 정확도를 보였으며, 특히 데이터가 제한된 환경에서 MRPC는 12.5%, RTE는 6.13% 향상된 성능을 보였습니다. 또한 LoPA는 FFT 및 LoRA와 유사한 성능을 달성하면서도 LoRA보다 760k 적은 파라미터를 사용했습니다.

2. 코드 이해 작업

LoPA는 모든 FM 백본에서 튜닝 없이 기준 모델의 pass@1 점수를 지속적으로 향상시켰습니다. 특히, CruxEval 작업에서 프롬프트 튜닝보다 성능이 뛰어났으며, CodeGen 및 DeepSeekCoder-1.3B와 같은 소형 FM에서는 약 2~4점, LLama-3 및 Phi-3와 같은 대형 FM에서는 8~11점 향상되었습니다.

3. 코드 완성 작업

MBPP의 코드 완성 작업에서 IDPG와 LoPA는 거의 동일한 성능 향상을 보였지만, LoPA는 CodeGen에서 사용된 파라미터 수의 약 절반, DeepseekCoder-7b에서 IDPG에서 사용된 파라미터 수의 5분의 1만 사용하여 이를 달성했습니다.

결론

본 논문에서 제안한 LoPA는 적은 수의 파라미터를 사용하면서도 기존 프롬프트 튜닝 방법보다 뛰어난 성능을 보이며, 전체 미세 조정 및 LoRA와 비슷한 성능을 달성했습니다. LoPA는 작업별 정보와 인스턴스별 정보를 효과적으로 결합하고 저랭크 분해를 통해 파라미터 효율성을 높여 LLM의 효율적인 커스터마이징을 위한 새로운 방법을 제시합니다.

향후 연구 방향

• LoPA의 효과는 벤치마크 작업을 통해 입증되었지만, LoRA 또는 전체 미세 조정이 필요할 수 있는 실제 사용자 작업에서의 성능에 대한 추가 연구가 필요합니다.
• 본 연구에서는 학습된 소프트 프롬프트를 입력에 접두어로 추가했지만, 접미어로 추가하거나 입력 내에서 무작위로 배치하는 등 다양한 방법을 탐색할 수 있습니다.
• LoPA와 결합된 파운데이션 모델은 조건부 자동 인코더로 볼 수 있으며, 소프트 프롬프트 벡터는 오프셋 부분 공간이 아닌 잠재 부분 공간에 존재합니다. 이러한 관점에서 관찰된 성능 향상이 작업별 지식을 추론하고 압축하여 추가 정보로 제공한 결과인지 여부와 같은 흥미로운 질문을 제기합니다. 이러한 대안적 관점을 조사하면 더욱 정교한 자동 인코딩 시스템을 개발하여 성능을 더욱 향상시킬 수 있습니다.

통계

LoPA는 기존 프롬프트 튜닝 방법 및 DePT보다 평균 28.62% 및 25.39% 높은 성능을 보였습니다.
LoPA는 IDPG보다 평균 5.36% 높은 성능을 보였습니다.
LoPA는 LoRA보다 약 760k 적은 파라미터를 사용했습니다.
LoPA는 CruxEval 작업에서 프롬프트 튜닝보다 최대 11% 높은 성능을 보였습니다.
LoPA는 DeepseekCoder-7b에서 IDPG에서 사용된 파라미터 수의 5분의 1만 사용했습니다.

인용구

"LoPA, a new instance-aware prompt tuning-based approach."
"LoPA combines the task-specific and instance-specific components using a gating function, which activates task-specific information conditioned on each instance."
"It employs a low-rank decomposition of the instance-level component to enhance parameter efficiency."
"Our results show that LoPA outperforms existing prompt-tuning methods."
"It often matches the performance of full fine-tuning and LoRA."

핵심 통찰 요약

Prompt Tuning Strikes Back: Customizing Foundation Models with Low-Rank Prompt Adaptation

by Abhinav Jain... 게시일 arxiv.org 11-04-2024

https://arxiv.org/pdf/2405.15282.pdf

더 깊은 질문

LoPA를 텍스트 생성이나 기계 번역과 같은 다른 자연어 처리 작업에 적용하면 어떤 결과가 나타날까요?

LoPA는 본문에서 자연어 이해 및 코드 생성 및 이해 작업에 대해 주로 평가되었지만, 텍스트 생성이나 기계 번역과 같은 다른 자연어 처리 작업에도 적용될 수 있는 잠재력을 가지고 있습니다.
텍스트 생성 작업의 경우, LoPA는 다음과 같은 방식으로 활용될 수 있습니다:

다양한 스타일 및 속성 제어: LoPA의 task-specific prompt (ZS)를 사용하여 생성될 텍스트의 전반적인 스타일(예: 문어체, 구어체)이나 주제(예: 뉴스 기사, 소설)를 제어하고, instance-specific prompt (ZI)를 사용하여 특정 키워드나 문맥 정보를 반영하여 더욱 구체적이고 개인화된 텍스트를 생성할 수 있습니다.
생성된 텍스트의 다양성 증가: 동일한 입력 프롬프트에 대해서도 instance-specific prompt (ZI)를 다양하게 조작하여 다양한 텍스트 변형을 생성할 수 있습니다.
기계 번역 작업의 경우, LoPA는 다음과 같은 방식으로 활용될 수 있습니다:

번역 스타일 및 도메인 적응: task-specific prompt (ZS)를 사용하여 특정 도메인(예: 법률, 의료)에 맞는 번역 스타일을 학습하고, instance-specific prompt (ZI)를 사용하여 문맥에 맞는 미묘한 표현이나 어휘를 조정하여 더욱 자연스럽고 정확한 번역을 생성할 수 있습니다.
개인 맞춤형 번역: 사용자의 이전 번역 데이터를 사용하여 instance-specific prompt (ZI)를 fine-tuning 함으로써 사용자의 언어 습관이나 선호도가 반영된 개인 맞춤형 번역을 제공할 수 있습니다.
그러나 LoPA를 텍스트 생성이나 기계 번역 작업에 적용할 경우, 다음과 같은 문제들을 고려해야 합니다.

긴 텍스트 생성의 어려움: LoPA는 본문에서 비교적 짧은 텍스트를 다루는 작업에 대해 평가되었기 때문에, 긴 텍스트 생성 작업에서는 성능 저하가 발생할 수 있습니다.
새로운 평가 지표 필요: 텍스트 생성 및 기계 번역 작업에서는 일반적으로 BLEU, ROUGE와 같은 다른 평가 지표가 사용되므로 LoPA의 성능을 정확하게 평가하기 위해서는 이러한 작업에 적합한 새로운 평가 지표가 필요합니다.
결론적으로 LoPA는 텍스트 생성 및 기계 번역과 같은 다양한 자연어 처리 작업에 적용될 수 있는 잠재력을 가진 기술입니다. 하지만 작업의 특성에 따라 발생할 수 있는 문제점들을 인지하고, 이를 해결하기 위한 추가적인 연구 및 개발이 필요합니다.

LoPA의 성능 향상이 작업별 지식을 압축하고 추가 정보로 제공한 결과라고 주장할 수 있을까요?

네, LoPA의 성능 향상은 작업별 지식을 압축하고 추가 정보로 제공한 결과라고 주장할 수 있습니다.
LoPA는 크게 두 가지 구성 요소, 즉 task-specific prompt (ZS)와 instance-specific prompt (ZI)를 통해 작동합니다. ZS는 작업에 대한 일반적인 지식을 압축하여 담고 있으며, ZI는 특정 입력 샘플에 대한 추가적인 정보를 제공합니다.

ZS (Task-Specific Prompt): 특정 작업에 대한 일반적인 지식을 효과적으로 압축하고 있습니다. 예를 들어, 감정 분석 작업에서 ZS는 긍정적 또는 부정적 감정을 나타내는 단어나 구문에 대한 정보를 압축적으로 저장할 수 있습니다.
ZI (Instance-Specific Prompt): 입력 샘플의 특징을 포착하여 추가적인 정보를 제공합니다. 예를 들어, 특정 영화 리뷰에 대한 감정 분석 작업에서 ZI는 리뷰에 언급된 배우, 감독, 장르 등의 정보를 추가적으로 제공하여 모델이 더 정확한 예측을 할 수 있도록 도와줍니다.
LoPA는 이 두 가지 구성 요소를 효과적으로 결합하여 모델에 작업별 지식을 효율적으로 전달하고, 특정 입력 샘플에 대한 추가적인 정보를 제공함으로써 성능 향상을 달성합니다.
특히, LoPA는 ZI를 저랭크 분해하여 모델의 파라미터 효율성을 높입니다. 즉, 방대한 정보를 담고 있는 ZI를 압축된 형태로 표현하여 모델의 크기를 줄이면서도 필요한 정보를 효과적으로 전달할 수 있습니다.
결론적으로 LoPA는 작업별 지식을 압축하고 추가 정보를 효율적으로 제공함으로써 기존의 방법들보다 우수한 성능을 달성했다고 볼 수 있습니다.

LoPA를 사용하여 개인정보 보호를 강화하면서도 높은 성능을 유지하는 개인 맞춤형 언어 모델을 개발할 수 있을까요?

네, LoPA를 사용하여 개인 정보 보호를 강화하면서도 높은 성능을 유지하는 개인 맞춤형 언어 모델을 개발할 수 있습니다.
LoPA는 사용자 데이터를 직접적으로 모델 학습에 사용하지 않고, 개인 맞춤형 프롬프트를 생성하는 데 활용할 수 있습니다.
개인 맞춤형 프롬프트 생성:

사용자의 데이터를 이용하여 개인 맞춤형 instance-specific prompt (ZI)를 생성합니다. 이때, 사용자 데이터는 모델 학습에 직접 사용되지 않고, 오직 ZI 생성에만 활용됩니다.
생성된 ZI는 사용자의 기기에 저장되며, 서버로 전송되지 않습니다.
개인 정보 보호 강화:

LoPA는 사용자 데이터를 서버에 저장하거나 공유하지 않으므로, 데이터 유출 위험을 최소화할 수 있습니다.
사용자는 자신의 데이터를 사용하여 생성된 개인 맞춤형 프롬프트를 완전히 제어할 수 있습니다.
높은 성능 유지:

LoPA는 적은 수의 파라미터만을 사용하여 개인 맞춤형 프롬프트를 생성하므로, 모델의 크기가 크게 증가하지 않습니다.
따라서, LoPA를 사용하면 개인 정보 보호를 강화하면서도 기존의 개인 맞춤형 언어 모델과 유사한 수준의 높은 성능을 유지할 수 있습니다.
추가적인 개인 정보 보호 기술 적용:

차분 프라이버시 (Differential Privacy): ZI 생성 과정에서 노이즈를 추가하여 개인 정보를 보호할 수 있습니다.
연합 학습 (Federated Learning): 여러 사용자의 기기에서 개인 맞춤형 프롬프트를 학습하고, 이를 통합하여 더욱 강력한 프롬프트를 생성할 수 있습니다.
결론적으로 LoPA는 개인 정보 보호를 강화하면서도 높은 성능을 유지하는 개인 맞춤형 언어 모델을 개발하는 데 유용한 기술입니다. LoPA를 기반으로 개인 정보 보호 기술을 함께 적용한다면, 사용자들은 자신의 데이터를 안전하게 보호하면서도 개인 맞춤형 언어 모델의 이점을 누릴 수 있을 것입니다.