本研究は、オーストリアポストグループITとの密接な協力の下で開発および実施されたものである。RAGTAGアプローチは、検索拡張型生成(RAG)とLLMsを組み合わせることで、ドメイン固有の知識を統合し、正確でドメイン特化型のテストシナリオを生成することができる。
本研究では、オーストリアポストのProjAとProjBの2つの産業プロジェクトを対象に、RAGTAGの評価を行った。ProjAは、特定の地域の付加価値税(VAT)適用と再計算に関する機能を扱うプロジェクトであり、ProjBは、効率的な配送プロセスのための自動前仕分けに関するプロジェクトである。これらのプロジェクトの要件は、ドイツ語と英語の混合で記述されている。
評価の結果、専門家は、RAGTAGが生成したテストシナリオが、要件に密接に関連しており、様々な側面をカバーしていると評価した。また、生成されたシナリオは専門家にとって理解しやすく、プロジェクト環境での実行が可能であると判断された。正確性については概ね満足できるものの、正確な行動シーケンスやドメイン固有の微妙な点の捕捉には課題が残っており、LLMsを適用する際のドメイン専門家の関与の必要性が示された。
To Another Language
from source content
arxiv.org
Głębsze pytania