:プロビジョニングされたGPUアクセラレーションインスタンスの自動スケーリングポリシーの作成

背景

GPUハードウェアのリソース使用率は、モデルトレーニング、AI推論、オーディオおよびビデオのトランスコーディングなどのシナリオによって異なります。 Function Computeは、ストリーミングマルチプロセッサ (SM) 、GPUメモリ、ハードウェアデコーダ、ハードウェアエンコーダなどのGPUインスタンスのリソース使用率に基づいて、プロビジョニングされたGPUアクセラレーションインスタンスの自動スケーリング機能を提供します。

スケジュールされた設定変更とメトリックベースの設定変更を使用して、Function Computeでプロビジョニングされたインスタンスの自動スケーリングポリシーを設定できます。 メトリックベースの設定変更のみを使用して、メトリックに基づいてGPUアクセラレーションインスタンスの自動スケーリングポリシーを設定できます。 詳細については、「プロビジョニング済みインスタンスと自動スケーリングルールの設定」の「メトリックベースの設定変更」セクションをご参照ください。

GPU高速化インスタンスのメトリクスの表示

GPU関数の実行後、Function ComputeコンソールでGPUアクセラレーションインスタンスのリソース使用量を表示できます。

1. Function Computeコンソールにログインします。 左側のナビゲーションウィンドウで、[詳細機能] > [モニタリングダッシュボード] を選択します。

2. 上部のナビゲーションバーで、リージョンを選択します。 サービスリストで、目的のサービスの名前をクリックします。

3. モニタリングダッシュボードの関数リストで、目的の関数の名前をクリックします。
4. モニタリングダッシュボードページで、[インスタンスメトリクス] タブをクリックします。
   GPUアクセラレーションされたメモリ使用量 (割合) 、GPUアクセラレーションされたSM使用量 (割合) 、GPUアクセラレーションされたハードウェアエンコーダ使用量 (割合) 、GPUアクセラレーションされたハードウェアデコーダ使用量 (割合) のメトリクスを表示して、GPUアクセラレーションされたインスタンスのリソース使用量を確認できます。

自動スケーリングポリシーの設定

GPUリソース使用量のメトリック

Function Computeコンソールでの自動スケーリングポリシーの設定

1. Function Computeコンソールにログインします。 左側のナビゲーションウィンドウで、[サービスと機能] をクリックします。

2. 上部のナビゲーションバーで、リージョンを選択します。 [サービス] ページで、目的のサービスをクリックします。

3. [関数] ページで、目的の関数の名前をクリックします。 表示される [機能の詳細] ページで、[自動スケーリング] タブをクリックします。

4. [機能の詳細] ページで、[自動スケーリング] タブをクリックし、[ルールの作成] をクリックします。
5. 表示されるページで、次のパラメーターを設定し、[作成] をクリックします。
   1. バージョンとインスタンスの最小数を設定します。 他のパラメーターのデフォルト値を保持します。
      
   2. [メトリックベースの設定変更] セクションで、[+ 設定の追加] をクリックしてポリシーを設定します。
      例:
   設定が完了したら、[メトリック] > [関数メトリック] を選択して、[関数プロビジョニング済みインスタンス] の変更を表示できます。

Serverless Devsを使用して自動スケーリングポリシーを構成する

1. プロジェクトディレクトリを作成します。

   mkdir fc-gpu-async-job&cd fc-gpu-async-job

2. プロジェクトディレクトリに、gpu-sm-hpa-policy.jsonなどの自動スケーリングポリシーを含むファイルを作成します。
   例:

   {
     "target": 1、
     "targetTrackingPolicies": [
       {"name":"hpa_gpu_decoder_util" 、"startTime":"2022-09-05T16:00:00.000Z" 、"endTime":"2023-07-06T16:00:00.000Z" 、"metricType":"GPUSmUtilization" 、"metricTarget":0.01 "minCapacity":"1"
     ]
   }

3. プロジェクトディレクトリで、次のコマンドを実行して、目的の関数に自動スケーリングポリシーを追加します。

   s cli fc provision put -- region ${region} -- service-name ${service-name} -- function-name ${function-name} -- qualifier LATEST -- config gpu-sm-hpa-policy.json

4. 次のコマンドを実行して、自動スケーリングポリシーを表示します。

   s cli fc provision get -- region ${region} -- service-name ${service-name} -- function-name ${function-name} -- qualifier LATEST

   コマンドが正常に実行されると、次の結果が返されます:

   [2022-10-08 16:00:12] [情報] [FC] -プロビジョニングの取得: zh ****.LATEST/zh ****
   serviceName: zh ****
   functionName: zh ****
   qualifier: 最新
   リソース: 164901546557 ****#zh ****# 最新# zh ****
   ターゲット: 1
   current: 1
   scheduledActions: null
   targetTrackingPolicies:
     -
       名前: hpa_gpu_decoder_util
       startTime: 2022-09-05T16:00:00.000Z
       endTime: 2023-07-06T16:00:00.000Z
       metricType: GPUSmUtilization
       metricTarget: 0.01
       minCapacity: 1
       maxCapacity: 20
   currentError:
   alwaysAllocateCPU: true 

関連ドキュメント

自動スケーリングの感度を変更する場合は、DingTalkグループに参加してFunction Computeテクニカルサポートに問い合わせてください。