Platform For AI:サービスのストレステスト

コンソールでのストレステストタスクの管理

ストレステストタスク タブで、作成されたタスクのリストを表示し、起動、クローン、レポートのコピー、削除 などの操作を実行します。

EASCMD クライアントによるストレステストタスクの管理

• ストレステストタスクリストの表示

  bench list コマンドを使用して、現在のユーザーが作成したストレステストタスクのリストを表示します。以下の例は、Windows 64 ビット版のコマンド形式を示しています。

  eascmdwin64.exe bench ls

  以下は出力例です。

  [RequestId]: 7F953F8E-8897-5785-808A-CA648302****
  +-------------------------+--------------------------+-------------+----------------+---------+---------------------+
  |        TASKNAME         |          TASKID          |   REGION    | AVAILABLEAGENT | STATUS  |     CREATETIME      |
  +-------------------------+--------------------------+-------------+----------------+---------+---------------------+
  | benchmark-***-test-**** | eas-b-ql470xog6qeh25**** | cn-shanghai |              0 | Stopped | 2022-06-17 17:58:01 |
  | benchmark-***-test-**** | eas-b-bdnzvwq0z0h3xq**** | cn-shanghai |              2 | Running | 2022-06-20 12:18:54 |
  +-------------------------+--------------------------+-------------+----------------+---------+---------------------+

• ストレステストタスクの詳細の表示

  bench desc コマンドを使用して、特定のストレステストタスクの詳細を表示します。以下の例は、Windows 64 ビット版のコマンド形式を示しています。

  eascmdwin64.exe bench desc [benchmark_task_name]

  [benchmark_task_name] には、ストレステストタスクの名前を指定します。

  以下は出力例です。

  +----------------+------------------------------------------------------------------------------+
  |     TaskName   | benchmark-***-test-b514                                                      |
  |     TaskId     | eas-b-bdnzvwq0z0h3xq****                                                     |
  |    ServiceName | xgb_test                                                                     |
  |         Region | cn-shanghai                                                                  |
  |   DesiredAgent | 2                                                                            |
  | AvailableAgent | 2                                                                            |
  |         Status | Running                                                                      |
  |        Message | Benchmark task is running                                                    |
  |     CreateTime | 2021-10-20 12:38:35                                                          |
  |     UpdateTime | 2021-10-20 12:38:45                                                          |
  |         Config | {                                                                            |
  |                |   "base": {                                                                  |
  |                |     "agentCount": 2,                                                         |
  |                |     "concurrency": 40,                                                       |
  |                |     "duration": 1200,                                                        |
  |                |     "requestCount":                                                          |
  |                | 922337203685477****,                                                         |
  |                |   },                                                                         |
  |                |  ...                                                                         |
  |                | }                                                                            |
  +----------------+------------------------------------------------------------------------------+

• ストレステストタスクのリアルタイム可視化の有効化

  bench visualize コマンドを使用して、ストレステストタスクのリアルタイム可視化を有効にします。このコマンドを実行すると、127.0.0.1 で Web サーバーによるリアルタイムモニタリングページが起動します。以下の例は、Windows 64 ビット版のコマンド形式を示しています。

  eascmdwin64.exe bench visualize [benchmark_task_name]

  [benchmark_task_name] には、ストレステストタスクの名前を指定します。

  以下は出力例です。

  [OK] Click the link http://127.0.0.1:18734/eas-benchmark/statsview to observe realtime visualization details, you can turn it off with CTRL+C.
  Turning off will not interrupt the benchmark test task, and you can reopen it by the visualize command:
  eascmd -c [config_file] bench visualize benchmark-xgb-test-b514

  ブラウザでリンク http://127.0.0.1:18734/eas-benchmark/statsview を開いて、リアルタイムデータを表示します。

• ストレステストレポートの取得

  ストレステストタスクのステータスが Stopped の場合、タスクは完了しています。ストレステストレポートは OSS に保存されます。bench report コマンドを使用して、レポート URL を取得できます。以下の例は、Windows 64 ビット版のコマンド形式を示しています。

  eascmdwin64.exe bench report [benchmark_task_name]

  [benchmark_task_name] には、ストレステストタスクの名前を指定します。

  以下は出力例です。

  [OK] Benchmark task benchmark-demo-test-c7eb report url: http://eas-benchmark.oss-cn-chengdu.aliyuncs.com/summary/benchmark-demo-test-c7eb-10004.html

  ブラウザで出力内の url:に続くリンク を開いて、以下の図に示すようにストレステストレポートを表示します。

• クライアントレプリカ数と同時実行数の動的変更

  ストレステストモードが manual の場合、bench update コマンドを使用して、クライアントレプリカ数と同時実行数を動的に変更する必要があります。以下の例は、Windows 64 ビット版のコマンド形式を示しています。

  eascmdwin64.exe bench update [benchmark_task_name] -Doptional.concurrency=<attr_value> -Doptional.agentCount=<attr_value>

  <attr_value> は具体的な値です。以下はコマンド例です：

  eascmdwin64.exe bench update benchmark-demo-b99c -Doptional.concurrency=2 -Doptional.agentCount=1

  以下は出力例です。

  [RequestId]: 9920C672-4D41-5CC4-8EC0-C690F76EB2BA
  [OK] Running [TaskName: benchmark-demo-b99c, DesiredAgent:1, AvailableAgent: 1, Message: Benchmark task is Updating]
  [OK] Benchmark task benchmark-demo-b99c was updated successfully

• ストレステストタスクの停止

  bench stop コマンドを使用して、実行中のストレステストタスクを停止します。以下の例は、Windows 64 ビット版のコマンド形式を示しています。

  eascmdwin64.exe bench stop [benchmark_task_name]

  [benchmark_task_name] には、ストレステストタスクの名前を指定します。

  以下は出力例です。

  Are you sure to stop the benchmark task [benchmark-***-test-b514] in [cn-shanghai]? [Y/n]
  [OK] Task [benchmark-***-test-b514] is stopping
  [OK] [Agent: 0/1]: Benchmark task is Running
  [OK] [Agent: 0/1]: Benchmark task is Stopped
  [OK] Benchmark task is stopped

  タスク停止時にリアルタイム可視化機能が実行中の場合、可視化コマンドを実行したターミナルにストレステストレポートが出力されます。bench report コマンドを使用して、グラフ付きのより詳細な HTML レポートを取得することもできます。

• ストレステストタスクの開始

  bench start コマンドを使用して、停止したストレステストタスクを開始します。以下の例は、Windows 64 ビット版のコマンド形式を示しています。

  eascmdwin64.exe bench start [benchmark_task_name]

  説明

  このコマンドは bench create コマンドとは異なり、停止したタスクを再開する場合、最後に更新された設定に基づいて新しいラウンドのストレステストを開始します。

  [benchmark_task_name] には、ストレステストタスクの名前を指定します。

  以下はシステム出力の例です。

  Are you sure to start the benchmark task [benchmark-***-test-b514] in [cn-shanghai]? [Y/n]
  [OK] Task [benchmark-***-test-b514] is starting
  [OK] [Agent: 0/1]: Succeed to start benchmark master
  [OK] [Agent: 1/1]: Benchmark task is Running
  [OK] Benchmark task is Running
  [OK] Click the link http://127.0.0.1:18947/eas-benchmark/statsview to observe realtime visualization details, you can turn it off with CTRL+C.
  Turning off will not interrupt the benchmark test task, and you can reopen it by the visualize command:
  eascmd -c [config_file] bench visualize benchmark-xgb-test-b514

• ストレステストタスクの削除

  ストレステストタスクが完了すると、VPC コントローラーは終了ステータスに基づいてタスクレコードを保持します。保持ルールを次の表に示します。

  終了ステータス	保持期間
  Stopped	48 時間
  CreateFailed、UpdateFailed、Terminated、または Error	10 分

  システムは保持期間後にストレステストタスクを自動的に削除します。

  bench delete コマンドを使用して、ストレステストタスクを手動で削除することもできます。コマンド形式は次のとおりです：

  eascmdwin64.exe bench delete [benchmark_task_name]

  [benchmark_task_name] には、ストレステストタスクの名前を指定します。

  以下は出力例です。

  Are you sure to delete the benchmark task [benchmark-***-test-b514] in [cn-shanghai]? [Y/n]
  [OK] Benchmark task benchmark-***-test-b514 is Deleting
  [OK] Benchmark task was deleted successfully

auto モード

auto モードでは、設定ファイルでサービス名とストレステストデータを指定するだけで十分です。他のパラメーターにはデフォルト値を使用できます。以下に設定例を示します。

{
    "service": {
        "serviceName": "demo"
    },
    "data": {
        "path": "https://examplebucket.oss-cn-chengdu.aliyuncs.com/data/warmup.tf.bin"
    },
    "optional": {
        "maxQPS": 1000,
        "duration": 300
     }
}

scan モード

{
    "service": {
        "serviceName": "demo"
    },
    "data": {
        "content": "aGVsbG8K"
    },
    "optional": {
        "mode": "scan",
        "maxQPS": 1000,
        "minQPS": 500,
        "qpsGrowthDelta": 100,
        "adjustInterval": 30
    }
}

manual モード

{
    "service": {
        "serviceName": "demo"
    },
    "data": {
        "content": "aGVsbG8K"
    },
    "optional": {
        "mode": "manual",
        "agentCount": 1,
        "concurrency": 5
    }
}