FaaS プラットフォームの分散型アプリケーション指向ベンチマーキング: BeFaaS の活用

Основные понятия

BeFaaS は、FaaSプラットフォームの評価のために、現実的で典型的なFaaSアプリケーションの例を使用する、拡張可能なアプリケーション指向ベンチマーキングフレームワークである。

Аннотация

本論文では、以下の3点を行っている:

分散型FaaSセットアップに対応するためにBeFaaSフレームワークを拡張する
典型的なFaaSユースケースを反映するアプリケーションベンチマークを設計・実装する
商用クラウドFaaSプラットフォーム(AWS Lambda、Azure Functions、Google Cloud Functions)と、エッジ向けのtinyFaaSプラットフォームを使用して、広範な実験を行う

BeFaaSは現在4つのFaaSアプリケーション指向ベンチマークを含んでおり、追加のワークロードプロファイルやプラットフォームに対して拡張可能である。また、ベンチマーク アプリケーションを複数のFaaSシステムに分散させて実行し、詳細な測定結果を収集するための連携ベンチマーク実行をサポートしている。
実験結果から以下のことが明らかになった:

前段・後段の機能を連携させる場合、ネットワーク伝送時間が全体の応答時間に大きく影響する
エッジ-クラウドのハイブリッド展開では、この伝送時間の影響が増大する
イベントパイプラインへの投稿は100ms以内だが、投稿からトリガー関数の開始までの遅延は100msからGCPの800msまで幅がある
関数実行時間はAzure Functionsが最も長いものの、コールドスタート挙動はAWS LambdaやGoogle Cloud Functionsよりも優れている

BeFaaSは、提供アプリケーションベンチマークの活用、ワークロードプロファイルの調整、あるいはアプリケーション内での直接利用により、FaaSアプリケーション開発者がクラウドサービスを比較し、用途に最適なプロバイダを見つけるのに役立つ。また、FaaSプラットフォーム開発者は、リグレッションを検出するためにCIパイプラインの一部としてBeFaaSを使用できる。

Статистика

ネットワーク伝送時間は、関数チェーンの全体応答時間に大きく寄与する
エッジ-クラウドのハイブリッド展開ではこの影響が増大する
イベントパイプラインへの投稿は100ms以内だが、投稿からトリガー関数の開始までの遅延は100msからGCPの800msまで幅がある
Azure Functionsはコールドスタート挙動が最も良い

Цитаты

"ネットワーク伝送時間は、関数チェーンの全体応答時間に大きく寄与する"
"エッジ-クラウドのハイブリッド展開ではこの影響が増大する"
"イベントパイプラインへの投稿は100ms以内だが、投稿からトリガー関数の開始までの遅延は100msからGCPの800msまで幅がある"
"Azure Functionsはコールドスタート挙動が最も良い"

Ключевые выводы из

Application-Centric Benchmarking of Distributed FaaS Platforms using BeFaaS

by Martin Gramb... в arxiv.org 04-29-2024

https://arxiv.org/pdf/2311.09745.pdf

Дополнительные вопросы

FaaSアプリケーションの性能に影響を与える他の要因はどのようなものがあるか?

FaaSアプリケーションの性能に影響を与える他の要因には、以下のような要素が考えられます。

ネットワーク遅延: ファンクション間の通信や外部サービスとのやり取りにおけるネットワーク遅延は、レスポンスの遅延に影響を与えます。

データベースアクセス: 外部データベースへのアクセスやクエリの処理時間が、ファンクションの実行時間に影響を与える可能性があります。

コールドスタート: インスタンスがアイドル状態から起動する際の遅延であるコールドスタートは、初回のリクエストに対する応答時間に影響を与える重要な要因です。

外部サービスの可用性: FaaSアプリケーションが依存する外部サービスの可用性や応答時間も、全体のパフォーマンスに影響を与える可能性があります。

これらの要因は、FaaSアプリケーションの設計や実装において考慮すべき重要な要素となります。

コールドスタートの問題を解決するための新しいアプローチはないか?

コールドスタートの問題を解決するためには、以下のようなアプローチが考えられます。

プリウォーミング: 定期的なプリウォーミングや定期的なトリガーを使用して、ファンクションをアクティブな状態に保つことで、コールドスタートの影響を軽減することができます。

コールドスタート最適化: プラットフォーム側でのコールドスタートの最適化や高速化を行うことで、起動時間を短縮する取り組みが重要です。

サーバーレスアーキテクチャの最適化: ファンクションのサイズや依存関係の最適化、軽量化など、サーバーレスアーキテクチャ全体の最適化を行うことで、コールドスタートの問題を軽減することができます。

これらのアプローチを組み合わせて、コールドスタートの問題に対処する新しい戦略を検討することが重要です。

FaaSプラットフォームの進化に伴い、今後どのようなベンチマーキングニーズが生まれてくるだろうか?

FaaSプラットフォームの進化に伴い、以下のようなベンチマーキングニーズが今後重要となる可能性があります。

マルチクラウド環境の比較: 複数のクラウドプロバイダーにまたがるマルチクラウド環境におけるパフォーマンス比較が重要となります。

セキュリティとコンプライアンス: セキュリティやコンプライアンス要件に対する適合性やセキュリティ機能の比較が必要となるでしょう。

スケーラビリティと負荷テスト: 大規模な負荷テストやスケーラビリティの比較が、将来の需要に対応するために重要となるでしょう。

イベントドリブンアプリケーションの評価: イベントドリブンアプリケーションのパフォーマンスやイベント処理の効率性を評価するニーズが増加するかもしれません。

これらのニーズに対応するために、包括的で網羅的なベンチマーキングフレームワークの開発や、新たな測定基準の導入が求められるでしょう。