PromptSAW: 関係認識グラフを活用したテキストプロンプトの圧縮

Core Concepts

PromptSAWは、プロンプトのテキスト情報を活用してグラフを構築し、そのグラフ構造から重要な情報要素を抽出することで、プロンプトを効果的に圧縮する。

Abstract

本論文では、PromptSAWと呼ばれる新しいプロンプト圧縮手法を提案している。PromptSAWは、プロンプトのテキスト情報からグラフ構造を構築し、そこから重要な情報要素を抽出することで、プロンプトを効果的に圧縮する。
具体的には、以下の2つのシナリオを考慮している:

タスク依存型プロンプト: グラフ内の重要な情報要素を選択的に保持することで、タスク関連の情報を維持しつつプロンプトを圧縮する。

タスク非依存型プロンプト: グラフ内の情報要素の類似性を評価し、類似度の低い要素のみを保持することで、プロンプトを圧縮する。

実験評価の結果、PromptSAWは既存手法と比較して、タスク依存型では最大14.3%、タスク非依存型では最大13.7%の性能向上を達成しつつ、プロンプトサイズを33.0%および56.7%圧縮することができた。また、PromptSAWによる圧縮プロンプトは、既存手法と比べて可読性が高いことも示された。

Stats

元のプロンプトは422トークンで、PromptSAWによる圧縮後は292トークンとなり、圧縮率は1.45倍となった。
元のプロンプトは524トークンで、PromptSAWによる圧縮後は227トークンとなり、圧縮率は2.31倍となった。

Quotes

"プロンプトの長さが増えるにつれ、LLMの能力が大幅に低下/制限される"
"自然言語は本質的に冗長であるため、元のテキストプロンプトの長さを大幅に圧縮しつつ必要な情報を保持することが可能"

Key Insights Distilled From

PROMPT-SAW

by Muhammad Asi... at arxiv.org 04-02-2024

https://arxiv.org/pdf/2404.00489.pdf

Deeper Inquiries

プロンプト圧縮の際に、どのようにプロンプトの文法的一貫性や意味的整合性を維持するか?

PROMPT-SAWは、プロンプトの文法的一貫性や意味的整合性を維持するために、グラフ構造を活用して重要な情報を抽出します。具体的には、プロンプトテキストから情報要素を抽出し、それらをグラフ構造として表現します。このグラフ構造を使用して、プロンプト内の重要なエンティティや関係を分析し、不要な情報を取り除いて圧縮されたプロンプトを生成します。このプロセスにより、プロンプトの意味的整合性が保たれ、文法的一貫性が維持されます。さらに、PROMPT-SAWは、情報要素を選択および省略することで、圧縮されたプロンプト全体の情報構造を壊さずに、プロンプトのユーティリティを確保します。