RESTfulアプリケーションのためのCOTS: Connected OpenAPI Test Synthesis

Core Concepts

本研究では、RESTfulアプリケーションのテストを自動化するための新しいモデルベースのアプローチを提案する。COpenAPIドメイン固有言語を導入し、クライアントとサーバー間の通信プロトコルをモデル化する。また、COTSツールを開発し、COpenAPIモデルに基づいてランダムなモデルベーステストを生成し、ソフトウェアの欠陥を報告する。

Abstract

本研究では、RESTfulアプリケーションのテストを自動化するための新しいモデルベースのアプローチを提案している。
まず、COpenAPIドメイン固有言語を導入し、RESTクライアントとサーバー間の通信プロトコルをモデル化する。COpenAPIは、セッション型に着想を得たもので、リクエストとレスポンスの順序依存性や状態依存性を表現できる。
次に、COTSツールを開発し、COpenAPIモデルに基づいてランダムなモデルベーステストを生成する。COTSは、SUTとやりとりしながら、レスポンスがモデルに違反していないかをチェックする。
テストの実行結果は、カバレッジ情報やログファイル、再現用のcurlコマンドなどとして出力される。これにより、ロジックベースの欠陥を効果的に発見できる。
評価では、9つのオープンソースアプリケーションを対象に、COTSの有効性を検証した。その結果、COTSは手動テストと比べて同等以上のカバレッジを達成し、多数のロジックベースの欠陥を発見できることが示された。また、完全自動ツールと比べても大幅に高いカバレッジを達成できることが分かった。

Stats

新しいカスタマーを作成する際は、必要な資格情報をペイロードとして渡す必要がある。
作成されたカスタマーにはユニークな参照識別子が返される。
この識別子は、後続の操作(カード作成、住所登録、情報取得、削除)で使用される。
カスタマー情報、関連するカード、住所は、取得(getCust)や削除(deleteCust)の対象となる。

Quotes

"The application should allow one to add a constraint such that when a feature requires another feature to be active, the latter feature cannot be deactivated without first deactivating the former."

Key Insights Distilled From

COTS: Connected OpenAPI Test Synthesis for RESTful Applications

by Chri... at arxiv.org 05-01-2024

https://arxiv.org/pdf/2404.19614.pdf

Deeper Inquiries

RESTfulアプリケーションのテストにおいて、モデルベースアプローチとフル自動アプローチの長所と短所はどのように異なるか。

モデルベースアプローチの長所は、複雑なテストシナリオや依存関係を包括的にモデル化できる点です。このアプローチでは、REST APIの振る舞いをより詳細に表現し、複雑な相互作用をテストできます。一方、フル自動アプローチは、個々のAPI応答の正確性を確認するために自動的にテストケースを生成する点で優れています。ただし、ランダムなデータ生成器や仕様から自動的に生成されるジェネレーターを使用するため、APIの振る舞いの複雑さを十分に捉えられない場合があります。
モデルベースアプローチの短所は、テストモデルの作成に時間と労力がかかることです。アプリケーションの意図された使用方法について正確な知識がない場合、モデルの設計にバイアスが生じる可能性があります。一方、フル自動アプローチの短所は、テストシナリオの複雑さや依存関係を十分に捉えられないことが挙げられます。このアプローチは主に個々のAPI応答の正確性を確認するために設計されており、複雑な相互作用をモデル化することには適していません。

COpenAPIモデルの作成に必要な労力を最小限に抑えるためのテクニックはあるか。

COpenAPIモデルの作成に必要な労力を最小限に抑えるためのテクニックとして、アプリケーションの既存の手動テストやソースコードを調査し、意図された使用方法を推測することが挙げられます。また、アプリケーションの使用シナリオを豊富に含めることで、既存の手動テストではカバーされていない機能をモデルに組み込むことが重要です。これにより、モデルがSUTの機能を包括的にカバーし、新たな欠陥を発見する可能性が高まります。

COpenAPIモデルの表現力を高めるために、どのような拡張が考えられるか。

COpenAPIモデルの表現力を高めるためには、より複雑な依存関係やテストオラクルを組み込むことが考えられます。例えば、複数のAPIリクエストとレスポンスのシーケンスをより詳細に記述し、特定の条件やアサーションを追加することで、モデルの表現力を向上させることができます。さらに、タイミング制約や非機能要件などの追加機能を組み込むことで、より包括的なテストケースを生成し、アプリケーションの品質を向上させることが可能です。