Основные понятия
코드 지능 언어 모델의 사용 비용이 증가함에 따라, 프롬프트 학습이 이를 해결할 수 있는 잠재적인 솔루션으로 부상했다. 그러나 프롬프트 설계에 많은 인적 노력과 전문성이 필요하다는 문제가 있다. 이를 해결하기 위해 유전 알고리즘을 활용한 자동 프롬프트 설계 방법인 GenAP를 제안한다.
Аннотация
이 논문은 코드 지능 언어 모델에서 프롬프트 학습의 효과성을 조사하고, 기존 자동 프롬프트 설계 방법의 한계를 분석한 후, GenAP라는 새로운 자동 프롬프트 설계 방법을 제안한다.
프롬프트 학습의 효과성 조사:
코드 결함 예측, 코드 요약, 코드 번역 등 3가지 코드 지능 과제에서 프롬프트 학습의 성능을 평가
프롬프트 설계가 프롬프트 학습의 성능에 큰 영향을 미치는 것을 확인
기존 자동 프롬프트 설계 방법의 한계 분석:
NLP 분야의 자동 프롬프트 설계 방법들이 코드 지능 과제에 직접 적용하기 어려운 한계가 있음을 확인
대부분의 기존 방법들이 수작업 프롬프트 초기화, 계산 비용 증가, 특정 과제에만 적용 가능 등의 문제가 있음
GenAP 제안:
유전 알고리즘을 활용하여 코드 지능 언어 모델을 위한 자동 프롬프트 설계 방법인 GenAP를 제안
변수 길이 인코딩 전략과 맞춤형 교차 및 돌연변이 연산자를 설계하여 프롬프트 설계의 효율성과 적용성을 높임
실험 결과, GenAP는 기존 방법들보다 우수한 성능을 보이며, 계산 비용도 모델 추론 비용 수준으로 낮음
Статистика
코드 결함 예측 과제에서 GenAP는 기존 방법 대비 평균 2.13% 정확도 향상을 보였다.
Цитаты
"코드 지능 언어 모델의 사용 비용이 증가함에 따라, 프롬프트 학습이 이를 해결할 수 있는 잠재적인 솔루션으로 부상했다."
"프롬프트 설계에 많은 인적 노력과 전문성이 필요하다는 문제가 있다."
"GenAP는 기존 방법들보다 우수한 성능을 보이며, 계산 비용도 모델 추론 비용 수준으로 낮다."