기업에서의 프롬프트 엔지니어링 실천 탐구

Core Concepts

기업 환경에서 사용자들은 복잡한 작업을 수행하기 위해 대화형 언어 모델(LLM)을 활용하는 과정에서 효과적인 프롬프트를 개발하기 위해 노력한다. 이 과정에서 사용자들은 프롬프트를 반복적으로 수정하고 실험하며, 이를 통해 LLM의 동작을 이해하고 목표를 달성하고자 한다.

Abstract

이 연구는 기업 환경에서 사용자들의 프롬프트 편집 행동을 관찰하고 분석했다. 주요 결과는 다음과 같다: 프롬프트 편집 세션은 주로 프롬프트 편집과 모델 전환으로 구성되었다. 가장 많이 편집된 프롬프트 구성 요소는 컨텍스트, 그 다음으로 작업 지침과 레이블이었다. 가장 일반적인 편집 유형은 의미가 유지되는 수정이었다. 사용자들은 주로 작업 지침과 컨텍스트를 편집했다. 컨텍스트 편집은 대화 시뮬레이션과 예제 추가의 두 가지 패턴을 보였다. 작업 지침 편집은 주로 재구문화와 세부 사항 추가로 이루어졌다. 레이블 편집은 세 번째로 많이 관찰되었는데, 이는 사용자들이 프롬프트의 구조화에 관심이 있음을 시사한다. 편집 되돌리기와 다중 편집은 사용자들이 프롬프트 효과를 추적하고 이해하는 데 어려움을 겪고 있음을 보여준다. 이러한 결과는 프롬프트 디버깅 및 테스트 지원, 프롬프트 구조 지원 등 프롬프트 엔지니어링을 돕기 위한 설계 방향을 제시한다.

Stats

사용자들은 프롬프트 편집에 평균 43.4분(중간값 39분)을 소요했다. 개별 프롬프트 편집에는 평균 47초(중간값 32초)가 걸렸다. 편집 세션에서 약 90%의 후속 요청에 편집이 포함되었다. 사용자들은 평균 3.6개(중간값 3개)의 모델을 사용했다.

Quotes

"기업 환경에서 개발자와 AI 실무자들은 조직의 효율성을 높이고 AI의 가치를 활용하기 위해 다양한 복잡성의 지식 작업을 자동화하기 위한 프롬프트를 개발하려 노력한다." "프롬프트 편집 세션은 주로 프롬프트 편집과 모델 전환으로 구성되었다." "사용자들은 주로 작업 지침과 컨텍스트를 편집했다."

Key Insights Distilled From

Exploring Prompt Engineering Practices in the Enterprise

by Michael Desm... at arxiv.org 03-15-2024

https://arxiv.org/pdf/2403.08950.pdf

Deeper Inquiries

프롬프트 편집 행동이 사용자의 LLM에 대한 정신 모델을 어떻게 반영하는지 더 깊이 탐구할 수 있을까?

프롬프트 편집 행동은 사용자의 정신 모델에 대한 이해와 상호작용 방식을 보다 잘 이해하는 데 도움이 될 수 있습니다. 사용자가 프롬프트를 어떻게 수정하고 개선하는지를 분석하면, 사용자가 LLM을 어떻게 이해하고 상호작용하는지, 그리고 더 효율적인 프롬프트 엔지니어링을 위해 어떤 종류의 도구가 필요한지에 대한 통찰력을 얻을 수 있습니다. 예를 들어, 사용자가 어떤 부분을 자주 수정하는지, 수정의 종류는 무엇인지, 이러한 수정이 모델 동작에 어떤 영향을 미치는지 등을 분석함으로써 사용자의 프롬프트 엔지니어링 방식을 더 깊이 이해할 수 있습니다. 또한 사용자가 이전 수정을 취소하거나 다시 시도하는 경우가 많다면, 이는 사용자가 이전 시도의 결과를 기억하거나 특정 수정이 출력에 어떤 영향을 미칠지에 대한 확신이 부족할 수 있음을 나타낼 수 있습니다.

사용자들이 프롬프트 편집 과정에서 겪는 어려움을 해결하기 위해 어떤 추가적인 지원 기능이 필요할까

프롬프트 편집 과정에서 사용자가 겪는 어려움을 해결하기 위해 추가적인 지원 기능이 필요합니다. 예를 들어, 사용자가 이전 수정 내용과 해당 출력을 더 체계적이고 접근하기 쉽게 추적할 수 있는 방법이 필요합니다. 이를 위해 수정 내용과 해당 출력을 더 체계적이고 접근하기 쉽게 추적할 수 있는 버전 히스토리나 비교 기능을 제공하는 시스템이 도움이 될 수 있습니다. 또한 여러 수정을 동시에 수행하는 경우 수정의 영향을 결정하기가 더 어려울 수 있으므로, 사용자가 특정 수정의 효과를 분리하거나 효과적인 수정을 시도하기 위해 여러 수정을 동시에 수행하는 것을 지원하는 방법이 필요합니다. 또한 사용자가 프롬프트 구조를 더 잘 지원하고 결정할 수 있도록 프롬프트 엔지니어링을 지원하는 도구가 필요합니다.

프롬프트 구조화와 관련된 사용자 요구사항을 더 잘 이해하기 위해 어떤 후속 연구가 필요할까

프롬프트 구조화와 관련된 사용자 요구사항을 더 잘 이해하기 위해 후속 연구가 필요합니다. 특히 사용자가 프롬프트 구조를 더 효과적으로 지원하고 결정할 수 있는 방법을 탐구해야 합니다. 이를 위해 프로그래밍 프레임워크나 시각적 환경과 같은 도구를 사용하여 사용자가 프롬프트 구조를 더 효과적으로 조작하고 결정할 수 있도록 지원하는 방법을 연구할 필요가 있습니다. 또한 프롬프트 엔지니어링을 지원하기 위한 구조적 접근 방식이 프롬프트 엔지니어링 노력을 줄일 수 있는지 여부를 탐구하는 연구가 필요합니다. 이러한 후속 연구는 사용자가 프롬프트를 보다 효율적으로 개발하고 수정할 수 있도록 도와줄 수 있을 것으로 기대됩니다.