Platform For AI:JSON を使用したサービスのデプロイ

パラメーター

必須

説明

rpc

batching

いいえ

GPU モデル推論を高速化するためにサーバーサイドバッチ処理を有効にするかどうかを指定します。この機能は、ビルド済みプロセッサモードでのみサポートされます。有効な値：

• false：デフォルト値。サーバーサイドバッチ処理は無効です。

• true：サーバーサイドバッチ処理が有効です。

keepalive

いいえ

単一リクエストの最大処理時間 (ミリ秒単位)。リクエストがこの処理時間を超えると、サーバーは 408 タイムアウトエラーを返し、接続を閉じます。専用ゲートウェイのデフォルト値は 600,000 です。このパラメーターは、Application Load Balancer (ALB) を使用する専用ゲートウェイではサポートされていません。

io_threads

いいえ

インスタンスあたりのネットワーク I/O スレッド数。デフォルト値は 4 です。

max_batch_size

いいえ

各バッチの最大サイズ。デフォルト値は 16 です。このパラメーターは、ビルド済みプロセッサモードでのみサポートされ、rpc.batching が true に設定されている場合にのみ有効になります。

max_batch_timeout

いいえ

各バッチの最大タイムアウト (ミリ秒単位)。デフォルト値は 50 です。このパラメーターは、ビルド済みプロセッサモードでのみサポートされ、rpc.batching が true に設定されている場合にのみ有効になります。

max_queue_size

いいえ

非同期推論サービスの場合、このパラメーターは最大キュー長を指定します。デフォルト値は 64 です。キューがいっぱいになると、サーバーは 450 エラーを返し、接続を閉じます。サーバーの過負荷を防ぐため、キューはクライアントに他のインスタンスでリクエストを再試行するように事前に通知できます。応答時間が長いサービスの場合は、リクエストのバックログとタイムアウトを避けるためにキュー長を短くすることを検討してください。

worker_threads

いいえ

同時リクエスト処理のためのインスタンスあたりのワーカースレッド数。デフォルト値は 5 です。このパラメーターは、ビルド済みプロセッサモードでのみサポートされます。

rate_limit

いいえ

QPS レート制限を有効にし、インスタンスあたりの最大 QPS を設定します。デフォルト値は 0 で、QPS レート制限は無効になります。

たとえば、このパラメーターを 2000 に設定すると、QPS が 2000 を超えた場合にリクエストは 429 (Too Many Requests) エラーで拒否されます。

enable_sigterm

いいえ

有効な値：

• false：デフォルト値。インスタンスが終了状態に入っても、システムは SIGTERM シグナルを送信しません。

• true：サービスインスタンスが終了状態に入ると、システムはすぐにメインプロセスに SIGTERM シグナルを送信します。ご利用のサービス内のプロセスは、カスタムのグレースフルターミネーションを実行するためにこのシグナルを処理する必要があります。シグナルが処理されない場合、メインプロセスがすぐに終了し、グレースフルターミネーションが失敗する可能性があります。

rolling_strategy

max_surge

いいえ

ローリングアップデート中に、このパラメーターは目的の数を超えて作成される追加インスタンスの最大数を指定します。この値は正の整数またはパーセンテージ (例：2%) にすることができます。デフォルトは 2% です。この値を増やすと、サービスの更新が高速化されます。

たとえば、サービスに 100 個のインスタンスがあり、このパラメーターを 20 に設定した場合、更新が始まるとシステムはすぐに 20 個の新しいインスタンスを作成します。

max_unavailable

いいえ

ローリングアップデート中に、このパラメーターは利用できなくなる可能性のあるインスタンスの最大数を指定します。このパラメーターにより、システムは新しいインスタンスのためにリソースを解放し、アイドルリソースの不足による更新の停滞を防ぎます。デフォルト値は、専用リソースグループでは 1、パブリックリソースグループでは 0 です。

たとえば、このパラメーターを N に設定した場合、更新が始まるとシステムは N 個のインスタンスを停止します。

eas.termination_grace_period

いいえ

インスタンスのグレースフルターミネーション期間を秒単位で指定します。デフォルト値は 30 です。

EAS サービスはローリングアップデート戦略を使用します。インスタンスはまず終了状態に入り、その間トラフィックはそこからルーティングされなくなります。その後、インスタンスは指定された期間待機して処理中のリクエストを完了させてからシャットダウンします。リクエストの処理に時間がかかる場合は、この値を増やして、更新中にすべての処理中のリクエストが完了するようにできます。

scheduling

spread.policy

いいえ

サービスインスタンスをスケジューリングするための分散ポリシー。サポートされているポリシー：

• host：インスタンスを異なるノードに分散させます。

• zone：インスタンスを異なるアベイラビリティーゾーンに分散させます。

• default：アクティブな分散戦略なしでデフォルトのスケジューリングポリシーを使用します。

設定例：

{
  "metadata": {
    "scheduling": {
      "spread": {
        "policy": "host"
      }
    }
}

resource_rebalancing

いいえ

有効な値：

• false：デフォルト値。この機能は無効です。

• true：EAS は高優先度のリソースで定期的にプローブインスタンスを作成します。プローブインスタンスが正常にスケジュールされると、EAS はスケジューリングが失敗するまで指数関数的に多くのプローブインスタンスを作成します。正常にスケジュールされたプローブインスタンスが準備完了になると、低優先度のリソースで実行されているインスタンスを置き換えます。

この機能は、次の問題を解決するのに役立ちます：

• ローリングアップデート中、終了中のインスタンスがリソースを占有し、新しいインスタンスがパブリックリソースグループにスケジュールされることを強制する可能性があります。これらのインスタンスは後で専用リソースグループに再スケジュールされます。

• スポットインスタンスと通常インスタンスの両方を使用する場合、EAS は定期的にスポットインスタンスが利用可能かどうかを確認します。利用可能な場合、EAS は通常インスタンスをスポットインスタンスに移行します。

workload_type

いいえ

EAS サービスをジョブとしてデプロイするには、このパラメーターを elasticjob に設定します。Elastic Job サービスの詳細については、「Elastic Job サービス」をご参照ください。

resource_burstable

いいえ

専用リソースグループにデプロイされた EAS サービスの弾性リソースプール機能を有効にします：

• true：機能を有効にします。

• false：機能を無効にします。

shm_size

いいえ

インスタンスの共有メモリのサイズを GB 単位で指定します。共有メモリにより、データレプリケーションや転送を必要とせずに直接の読み書き操作が可能になります。