Platform For AI:カスタム監視とオートスケーリングメトリクス

制限事項

• オートスケーリングの組み込みメトリクスとしてサポートされているのは、QPS と CPU 使用率のみです。

• metrics フィールドは、カスタムイメージまたはカスタムプロセッサを使用してサービスをデプロイする場合にのみサポートされます。

ステップ 1： メトリクスをレポートする API の設定

サービスをデプロイする前に、カスタムイメージまたはカスタムプロセッサを準備する必要があります。コード内で、カスタムメトリクスと、それらを定期的にレポートするための API を設定します。詳細については、「カスタムイメージ」または「カスタムプロセッサ」をご参照ください。

例えば、コードに実装されている POST リクエストのエンドポイントは http://localhost:8080/api/builtin/realtime_metrics で、リクエストボディは次のとおりです。

[
    {
        "name": "qps",
        "tags": {
            "status": "200"
        },
        "value": 20
    },
    {
        "name": "qps",
        "tags": {
            "status": "400"
        },
        "value": 13
    }
]

上記の例では、qps という名前のメトリクスをレポートしています。ステータスコードが 200 の場合の平均 QPS は 20 で、ステータスコードが 400 の場合の平均 QPS は 13 です。タグを使用してメトリクスを分類または細分化する必要がないシンプルなシナリオでは、tags フィールドを省略できます。

[
    {
        "name": "qps",
        "value": 20
    }
]

この API を定期的に呼び出してカスタムメトリクスをレポートするコードを記述する必要があります。

ステップ 2： サービスのデプロイ

カスタムメトリクスを定義した後、デプロイ時にサービス設定ファイルの metrics フィールドでそれらを宣言する必要があります。EAS フレームワークは、この宣言を使用してサービスを初期化し、モニタリングダッシュボードを構築します。手順は次のとおりです。

1. サービス設定用の JSON ファイルを準備します。

   ファイルに metrics フィールドを追加して、メトリクス名、タイプ、その他の情報を宣言します。以下の例は、カスタムイメージを使用してサービスをデプロイするための JSON ファイルを示しています。

   {
     "name": "metrics_test",
     "containers": [
       {
         "image": "registry-vpc.cn-chengdu.aliyuncs.com/eas/eas-image-****:metrics",
         "command": "python3 -u /image.py",
         "port": 5000
       }
     ],
     "metrics": [
       {
         "name": "qps",
         "tags": "status"
       }
     ],
     "metadata": {
       "instance": 1,
       "cpu": 2,
       "memory":1000
     }
   }

   image パラメータには、準備したカスタムイメージを設定します。以下の表は、metrics フィールドの各パラメータについて説明しています。その他のパラメータについては、「JSONデプロイメント」をご参照ください。

   パラメータ	必須	説明
   name	はい	サービスがレポートするカスタムメトリクスの名前です。 EAS は、この名前に基づいてサービス監視ページにモニタリングダッシュボードを作成します。 この名前は、オートスケーリングを設定する際に参照メトリクスを指定するために使用されます。
   tags	いいえ	メトリクスのタグの名前です。タグを使用してメトリクスを細分化できます。例えば、qps メトリクスをステータスコード別に分類できます。

   この設定により、Docker イメージに基づいてサービスをデプロイし、カスタムイメージでビジネスロジックを構築できます。metrics フィールドは、qps という名前のメトリクスと status という名前のタグを宣言します。このタグにより、同じメトリクスのデータを分類できます。例えば、status タグを使用して、status=200 や status=400 など、異なるステータスコードのリクエスト数を記録できます。

2. 設定ファイルを使用してモデルサービスをデプロイします。

   1. サービスデプロイページに移動します。詳細については、「カスタムデプロイメント」をご参照ください。

   2. Configuration Editor セクションで、JSON Deployment をクリックし、準備した JSON ファイルの内容をエディターに貼り付けます。

   3. Deploy をクリックします。

ステップ 3： メトリクスの表示

サービスのデプロイ後、コードロジックに基づいてカスタムメトリクスデータが定期的にレポートされます。EAS フレームワークは、このデータを受信するためのローカル API を提供します。

• EAS は、このリアルタイムデータをオートスケーリングに使用します。

• データパイプラインでは、情報はリアルタイムで表示されません。パイプラインはデータを集約するため、監視ページでは、分単位の粒度で表示されます。

以下の手順で、カスタム qps メトリクスを表示する方法を説明します：

1. EAS-Online Model Services ページで、サービス名をクリックしてサービス詳細ページを開きます。

2. Service Monitoring タブをクリックします。ページの左上隅で、カスタムパネルを選択します。

   このパネルには、カスタムメトリクスの監視データが 2 つのセクションに分けて表示されます。

   • サービス内の全インスタンスの平均メトリクスデータ。

   • サービス内の各インスタンスのメトリクスデータ。

   

ステップ 4： オートスケーリングの設定

カスタムメトリクスに基づいてサービスのオートスケーリングを有効にできます。手順は組み込みメトリクスの場合と同じです。詳細については、「水平オートスケーリング」をご参照ください。

以下の例は、qps カスタムメトリクスに基づいてオートスケーリングを設定する方法を示しています：

• eascmd を使用してオートスケーリングを有効にします。操作とパラメータの詳細については、「水平オートスケーリング」をご参照ください。

  • カスタムメトリクスにタグが不要な場合：

    eascmd autoscale service_name -Dmin=1 -Dmax=10 -Dstrategies.custom[qps]=3

    この設定により、平均 qps メトリクスが 3 を超えるとサービスがスケールアウトし、値が 3 を下回るとスケールインします。

  • カスタムメトリクスをタグレベルで指定する必要がある場合：

    eascmd autoscale service_name -Dmin=1 -Dmax=10 -Dstrategies.custom[qps]@status[200]=3

    この設定により、qps メトリクスのうち status が 200 である系列の平均値が 3 を超えるとサービスがスケールアウトし、値が 3 を下回るとスケールインします。

• コンソールを使用してオートスケーリングを有効にします。操作とパラメータの詳細については、「水平オートスケーリング」をご参照ください。

  • 設定されたカスタムメトリックがタグを報告する必要がない場合、Auto Scaling Settings ダイアログボックスの Custom Scaling Metric セクションで、変数名を custom[qps] に、変数の値を 3 に設定する必要があります。 自動スケーリング設定ダイアログボックスで、最小インスタンス数を 1 に、最大インスタンス数を 10 に設定します。 カスタムスケーリングメトリックエリアで、変数名を custom[qps] に、変数の値を 3 に設定し、「有効化」をクリックします。

  • カスタムメトリックをタグレベルで指定する必要がある場合、Auto Scaling Settings ダイアログボックスの Custom Scaling Metric で、変数名を custom[qps]@status[200] に、その値を 3 に設定します。