Alapfogalmak
Retrieval-Augmented Generation (RAG)を使用することで、構造化出力タスクにおける幻覚を大幅に低減し、ドメイン外の設定でも一般化できるようにする。
Kivonat
本研究では、自然言語要件からワークフローを生成するエンタープライズアプリケーションの開発プロセスにおいて、Retrieval-Augmented Generation (RAG)を適用する方法を提案している。
まず、ステップ名やテーブル名を自然言語から効果的にマッピングするためにリトリーバーエンコーダーをファインチューニングする。次に、リトリーバーの出力を言語モデルの入力に追加することで、幻覚の発生を大幅に抑えつつ、ドメイン外の設定でも良好な性能を維持できることを示している。
さらに、小規模なリトリーバーモデルと大規模な言語モデルを組み合わせることで、リソース制約の中でも高性能なシステムを構築できることを実証している。
Statisztikák
自然言語要件からワークフローを生成する際、リトリーバーを使用しない場合、生成されたステップの15.7%、テーブルの19.2%が幻覚である可能性がある。
RAGを使用することで、ステップの1.9%、テーブルの4.2%までに幻覚を低減できる。
RAGを使用することで、ドメイン外の設定でも良好な性能を維持できる。
Idézetek
"Retrieval-Augmented Generation (RAG)は、特に外部知識源へのアクセスが必要な場合に、幻覚を低減し、出力品質を向上させる既知の手法である。"
"エンタープライズユーザーには自社のアプリケーションをカスタマイズする必要があるため、商用のGenerative AIアプリケーションでは、ドメイン外の設定でも幻覚を最小限に抑える必要がある。"