Function Compute:準リアルタイム推論シナリオ

概要

制御ポリシー機能の動作

デフォルトでは、オンデマンドのGPUアクセラレーションインスタンスは、GPU関数をデプロイした後、準リアルタイム推論シナリオでリクエストを処理するために使用されます。 Function Computeは、プロビジョニングされたGPU高速化インスタンスも提供します。 詳細は、「インスタンスモード」をご参照ください。

推論リクエストをGPU関数のトリガーに送信できます。 たとえば、HTTPリクエストをHTTPトリガーに送信して、関数の実行をトリガーできます。 GPU関数がトリガーされると、GPUコンテナーでモデル推論が実行されて完了し、推論結果がレスポンスで返されます。 Function Computeは、ビジネス要件を満たすために、GPUリソースの自動オーケストレーションとエラスティックスケーリングを実行できます。 リクエスト処理中に使用されるGPUリソースに対してのみ料金を支払う必要があります。

コンテナのサポート

Function ComputeのGPU高速化インスタンスは、カスタムコンテナランタイムでのみ使用できます。 カスタムコンテナの詳細については、「概要」をご参照ください。

カスタムコンテナランタイムは、webサーバーモードと非webサーバーモードをサポートします。 オンライン推論シナリオでは、webサーバーモードのコンテナーが使用されます。 オフラインシナリオでは、非webサーバーモードのコンテナーが使用されます。

webサーバーモードを有効にする場合は、さまざまなコードパスとイベントベースまたはHTTPベースの関数トリガーの要件を満たすように、コンテナーイメージにwebサーバーを実装する必要があります。 Webサーバーモードは、AI学習や推論などのマルチパス要求実行シナリオに適用できます。 詳細については、「Webサーバーモード」をご参照ください。

GPU高速化インスタンスの仕様

推論シナリオでは、さまざまなGPUカードタイプを選択し、ビジネスで必要とされる計算能力に基づいてGPU高速化インスタンスの仕様を設定できます。 GPU高速化インスタンスの仕様には、GPUメモリ、メモリ、およびディスク容量が含まれます。 GPU高速化インスタンスの仕様の詳細については、「インスタンス仕様」をご参照ください。

デプロイ方法

その他のデプロイ例については、「start-fc-gpu」をご参照ください。

同時要求

GPU関数がリージョンで処理できる同時リクエストの最大数は、GPUアクセラレーションインスタンスの同時実行性と使用できるグラフィックカードの最大数に基づいています。

GPU高速化インスタンスの同時実行性

物理GPUカードの最大数

GPUの最大数の詳細については、「GPUカードの制限」をご参照ください。

コールドスタート

リクエストが一定期間処理されていない場合、すべてのオンデマンドGPUアクセラレーションインスタンスはFunction Computeによってリリースされます。 この場合、最初の新しいリクエストが送信されたときにclodスタートが発生し、Function Computeはリクエストを処理するためにインスタンスをプルするためにより多くの時間を必要とします。 これには、GPUリソースの準備、コンテナイメージの取得、GPUコンテナの起動、アルゴリズムモデルの読み込みと初期化、推論アプリケーションの起動が含まれます。 詳細については、「コールドスタートの待ち時間を短縮するためのベストプラクティス」をご参照ください。

AIアプリケーションのコールドスタートの期間は、画像サイズ、モデルサイズ、および初期化にかかる時間によって異なります。 モニタリング指標を使用して、コールドスタートにかかる時間を観察し、コールドスタートの確率を推定できます。

コールドスタート

次の図は、Function ComputeのGPUアクセラレーションインスタンスの一般的なモデルのエンドツーエンドのコールドスタートの期間を示しています。

エンドツーエンドのコールドスタートに必要な時間は、10〜30秒の範囲です。 時間は、コールドスタートと最初のリクエストの処理によって消費される合計時間です。

コールドスタートの確率

Function ComputeのサーバーレスGPUのコールドスタートは、数秒以内に完了できます。 KubernetesベースのプラットフォームでGPUをコールドスタートするには、数分かかります。 Function Computeインスタンスのコールドスタートの確率は、インスタンスの同時実行性が高くなるにつれて低下します。 コールドスタートが少ないと、ビジネスへの影響が少なくなります。

コスト評価

Function Computeを使用する前の毎日のGPU使用率が低いほど、Function Computeを使用した後のコストを節約できます。

次の例では、ECS (Elastic Compute Service) のGPU高速化インスタンスをFunction ComputeのGPU高速化インスタンスと比較します。 どちらのインスタンスもTesla T4グラフィックカードを使用しています。 同じ仕様のGPUアクセラレーションECSインスタンスの単価は約です。 USD 2 /時間。 課金の詳細については、「Elastic GPUサービスの課金」をご参照ください。

例 1

• 毎日のGPU使用率は4.1% です。 GPU使用率は、以下の式を使用することによって計算される: 3,600/86,400 = 0.041。 この場合、GPUのメモリ使用量は除外されます。

• ECSでGPUリソースを使用するために請求される1日あたりの料金はUSD 48です。 料金は次の式を使用して計算されます: 2 × 24 = 48。

• Function Computeの1日あたりの平均GPUリソース料金=3,600秒 × 4 GB × USD 0.000105/ GB秒= USD 1.512

ECSと比較して、Function Computeはコストを95% 削減します。

例 2

ECSと比較して、Function Computeはコストを55% 削減します。