Performance Testing:性能テスト技術ガイド

環境の選択

システム環境は、本番環境、テスト環境、その他の環境に分類されます。性能テストは通常、本番環境または専用のテスト環境で実行されます。それぞれには以下のような利点と課題があります。

本番環境：稼働中のサービスへの影響を避けるため、非ピーク時間帯にストレステストを実行してください。Alibaba Cloud のフルリンクストレステストは、本番環境でのテストをより効率的に実施する手法です。テスト終了後は、テストデータをクリーンアップするか、ビジネスインテリジェンス (BI) レポートから除外する必要があります。

テスト環境：本番環境の規模の一部（通常は半分、4 分の 1、または 8 分の 1）で構築します。一般的な戦略として、本番環境内に特定アプリケーション向けの独立したテストクラスターを展開する方法や、複数の環境間でデータベースを共有する方法があります。また、関連性のあるデータを維持するために、本番環境からマスク済みのデータ（通常は過去 6～12 か月分）をインポートします。

テスト環境の要件

テスト環境は、可能な限り本番環境に近い状態で構成してください。

テスト環境の調査

テスト開始前に、モニタリングおよびボトルネック分析のためのベースラインを確立するために、テスト環境の各レイヤーを調査してください。

メトリックのカテゴリ

以下の 4 カテゴリーにわたってメトリックを追跡します。

メトリックのしきい値の定義

テスト実行前に、各メトリックのしきい値を定義してください。明確なしきい値がない場合、テスト結果は実用的な意味を持たなくなります。開発、運用、ビジネスなど、関係者によって期待値や重視するメトリックは異なります。

ビジネスメトリックのベンチマーク：

リソースメトリックのガイドライン：

• CPU 使用率は 75 % 以下に抑えてください

• スワップ領域の使用は完全に回避してください

• システムが容量限界に達した際に、ボトルネックとなるのは CPU、メモリ、I/O などのリソースであるべきであり、アプリケーションレベルの問題であってはなりません。リソースに起因するボトルネックの場合、リソースを追加することで処理能力を拡張できますが、アプリケーションに起因するボトルネックの場合、リソースを追加しても処理能力は向上しません

ビジネスモデルの役割

各ビジネス運用（ログイン、検索、カート追加、支払いなど）は、異なる量のシステムリソースを消費します。ビジネス運用の種類とその比率の組み合わせが、システム全体の処理能力を決定します。テストトラフィックの構成が本番環境と一致しない場合、テスト結果には実用的な価値がありません。

例えば、EC サイトでは、プロモーションの種類や商品カテゴリーによって、読み取り中心の操作と書き込み中心の操作の比率が変化します。PTS における正確なトラフィックモデリングは、こうしたパターンを捉え、真のシステムボトルネックを明らかにします。

ビジネスタイプを選択

高ボリューム、高リスク、高成長のビジネス運用を代表的なテストケースとして選択してください。

すでに本番環境で稼働中のシステムの場合：

• ピーク時におけるビジネス運用の種類とボリュームを収集します。時間帯によって構成が大きく異なる場合は、複数のビジネスモデルを定義してください

• ピーク時の高リソース消費や異常を示すタイムウィンドウを特定し、その根本原因を調査してください

• 過去の本番環境インシデントをレビューします。以前のテストで除外されていたビジネス運用がインシデントの原因であった場合、今後のテストモデルに追加してください

まだ本番環境に投入されていないシステムの場合：

• 関係者インタビューおよび要件分析を通じて、ビジネス運用の種類と比率を決定してください

• 特定のビジネス運用がプロモーションやイベント時に急増する可能性を評価してください

• 初期のテスト実行後に、各運用ごとのリソース消費をレビューします。低比率の運用が不釣り合いに高いリソースを消費している場合、その重みをモデル内で調整してください

基本データ量

基本データ量とは、データベース内に既に存在するデータ（履歴レコード、参照データ、累積されたビジネスデータ）を指します。既存データの量はクエリパフォーマンスに直接影響を与えます。数千件のレコードに対する検索と、数百万件のレコードに対する検索では、動作が大きく異なります。

要件：

• テスト環境のデータ量は、本番環境と同程度のオーダー（桁）に揃えてください

• 今後 3 年間のデータ成長を見込んでください。データが急速に増加する場合は、テスト環境に追加のデータをロードしてください

• 本番環境にテストアカウントを挿入する場合は、十分なデータ準備およびクリーンアップロジックを計画してください

• フルリンクストレステストにおいても、テスト環境と本番環境のデータ量は同程度のオーダー（桁）である必要があります

パラメータ化されたデータ量

パラメータ化されたデータは、テスト入力（ユーザー ID、商品 ID、検索語など）の可変性を制御します。小さなパラメータセットではキャッシュヒットが発生し、パフォーマンス結果が過大評価される可能性があります。

要件：

• パラメータ化されたデータ量を最大化してください。必要に応じて、キャッシュをクリアするか、プログラムによって追加のデータを生成してください

• パラメータ化されたデータは現実的に分布させてください。あるビジネス運用が地理的分布パターンを持つ場合（例：地域固有の在庫照会）、テストデータにもそれを反映させてください

進行戦略

シンプルなテスト種別から始め、徐々に複雑な種別へと進めてください。まず単一トランザクションベンチマークテストを実行してベースラインを確立し、次に混合トランザクション負荷テスト、その後ストレステストおよび安定性テストへと進めてください。最低限、2 つの必須テスト種別（混合トランザクション負荷テストおよび混合トランザクション安定性テスト）は必ず実行してください。

RPS モードおよび同時実行数モード

PTS では、2 種類の負荷モードがサポートされています。実際のシステムが受信するトラフィックのタイプに合ったモードを選択してください。

• オープンワークロードモデル（RPS モード：推奨）：リクエストの到着率を制御します。Web アプリケーションなど、制御不能な外部トラフィックを受けるシステムに適しています。最も一般的なケースです。

• クローズドワークロードモデル（同時実行数モード）：同時接続ユーザ数を制御します。コールセンターのように、アクセスを制御するシステムに適しています。

例：2 つのインターフェイス A および B の本番環境比率は 1:4 であり、それぞれの応答時間は 1 ms および 100 ms です。

RPS モードでは、応答時間の差異に基づく同時実行数の調整計算が不要であり、トラフィック構成をより正確に制御できます。

包括的モニタリングの重要性

性能テスト中のモニタリングには、リアルタイムでのボトルネック検出およびテスト後の根本原因分析という 2 つの目的があります。すべてのレイヤーにわたる包括的なメトリックがなければ、ボトルネックの原因を特定することは推測に過ぎません。

モニタリング対象のメトリック

レイヤー別分析の焦点

各レイヤーにおけるターゲットを絞った分析により、効率的なチューニングが可能になります。無関係なリソースを追加するのではなく、実際のボトルネックを修正してください。

トラフィックシミュレーション

PTS は、世界中の数百の都市および複数のキャリアにまたがるコンテンツデリバリーネットワーク (CDN) ノードからテストトラフィックを生成します。このアプローチにより、地理的分布やキャリア固有のルーティングを含む、現実のエンドユーザーのアクセスパターンをシミュレートできます。

シナリオ設計

• 主流のブラウザ録画プラグインを使用してシナリオの録画を行うか、ビジュアルインターフェイスを通じて API の逐次実行および並列実行を編成できます（コーディング不要）。

• データファイル、ビルトイン関数、文字列操作、応答抽出を用いてリクエストをパラメータ化します。PTS は「データファクトリー」として機能し、簡単なエンコーディングでリクエストパラメーターを整形します。

• API 呼び出し間で Cookie およびセッション状態を維持し、多段階の思考時間やトラフィック制御をサポートする拡張可能な命令を提供します。

• 本格的なテストを実行する前に、シナリオおよび個別の API をデバッグしてください。

負荷制御

• 2 種類の負荷モード： 同時実行数モードおよび秒間リクエスト数（RPS）モード

• 高速起動： 数分以内にストレステストを開始できます

• リアルタイム調整： トラフィックの変更は数秒以内に反映されます

• パルス機能： 1 秒あたり数百万クエリ（QPS）の瞬間的なスパイクを生成できます

• 安全制御： 必要に応じて、ストレステストトラフィックを即座に停止できます

レポート

PTS は、各テスト中に同時実行数、TPS、RT、および各 API のサンプリングログといったリアルタイムデータを収集します。テスト後の分析用に、レポートが自動的に生成されます。

対応業種

PTS は、EC、メディア、金融・保険、物流、広告マーケティング、ソーシャルネットワーキングなど、幅広い業種のワークロードをサポートします。