企業におけるプロンプトエンジニアリングの実践を探る

核心概念

ユーザーがプロンプトを編集し、LLMとの相互作用を探求する過程で、効果的な方法を支援するための洞察を提供します。

摘要

• プロンプトはLLMとの主要なインタラクション手段であり、非専門家でもLLMを活用できるように設計されている。
• プロンプトデザインは複雑なタスクや特定の要件が必要なタスクでは容易ではなく、効果的なプロンプト作成にはスキルと知識が必要。
• 57人のユーザーのセッションを分析し、主にコンテキストやタスク指示が編集されていることが明らかになった。
• ユーザーは通常、意味が同じままである変更や追加を行っており、多くの場合、コンテキストやタスク指示が編集されている。

イントロダクション

• LLMとの主要なインタラクション手段はプロンプトであり、開発者やAI実践者はさまざまな複雑さの知識タスクを自動化するためにそれらを開発しようとしている。

関連研究

• プロントエンジニアリングは新しい分野であり、挑戦や課題も多く存在している。
• 多数の研究が非専門家向けの挑戦や不満点を特定しており、試行錯誤法やサポート利用に焦点を当てている。

結果

• プロントエディットセッションはしばしば長時間かかり、平均43.4分かかっていた。
• コーポレート環境ではコード生成やQ&A/チャットなど様々なジャンルで使用されており、コーポレート文脈では構造化されたプロントが重要視されている。

統計資料

Prompt editing sessions were often relatively long. The mean time spent on an editing session was 43.4 minutes.
Users primarily focused on editing task instructions and context components of the prompts.

引述

從以下內容提煉的關鍵洞見

Exploring Prompt Engineering Practices in the Enterprise

by Michael Desm... 於 arxiv.org 03-15-2024

https://arxiv.org/pdf/2403.08950.pdf

深入探究

ユーザーが同じ変更を何度も取り消したり再実行したりする理由は何ですか？

ユーザーが同じ変更を繰り返し取り消したり再実行したりする理由にはいくつかの要因が考えられます。まず、過去の試行で得られた結果や効果を正確に記憶していない可能性があります。これによって、同じ変更を繰り返すことで望ましい出力の改善や問題解決を試みることが生じる可能性があります。
また、特定の変更が出力に与える影響や効果を明確に把握できておらず、その変更の有効性や無効性を判断するために複数回テストしている場合も考えられます。このような場合、ユーザーは不確実さから同じ操作を繰り返す傾向があるかもしれません。
さらに、プロンプトエンジニアリングプロセス全体で発生する多くの微細な修正や調整から、どの修正が最終的な目標達成に寄与するか見極めることが難しく感じている可能性も考えられます。このような複雑さからユーザーは一度に複数の修正を加えてみて結果を比較しようとするため、同じ変更操作を続けざまに行うケースもあるかもしれません。