Core Concepts
부정적 감정 자극을 활용하여 대규모 언어 모델의 성능을 향상시킬 수 있다.
Abstract
이 연구는 대규모 언어 모델(LLM)의 성능 향상을 위해 부정적 감정 자극을 활용하는 NegativePrompt 기법을 제안한다.
인지 부조화 이론, 사회적 비교 이론, 스트레스 및 대처 이론을 바탕으로 10가지 부정적 감정 자극을 설계했다.
5개의 LLM(Flan-T5-Large, Vicuna, Llama 2, ChatGPT, GPT-4)을 대상으로 45개의 과제에서 실험을 수행했다.
NegativePrompt는 Instruction Induction 과제에서 12.89%, BIG-Bench 과제에서 46.25%의 성능 향상을 보였다.
주의 집중 시각화 실험을 통해 NegativePrompt의 작동 원리를 분석했다.
부정적 감정 자극의 누적 효과와 개별 자극의 효과성을 분석했다.
NegativePrompt와 EmotionPrompt의 차이점을 비교했다.
Stats
부정적 감정 자극을 활용한 경우 Instruction Induction 과제에서 평균 12.89% 성능 향상
부정적 감정 자극을 활용한 경우 BIG-Bench 과제에서 평균 46.25% 성능 향상
Quotes
"부정적 감정 자극을 활용하여 대규모 언어 모델의 성능을 향상시킬 수 있다."
"부정적 감정 자극은 모델의 주의 집중과 표현력을 향상시켜 성능 향상에 기여한다."
"부정적 감정 자극의 누적 효과와 개별 자극의 효과성은 과제에 따라 다르게 나타난다."