Platform For AI:JSON 構成ファイルによるサービスデプロイ

パラメーター

必須

説明

rpc

batching

いいえ

GPU モデルの高速化のため、サーバー側のバッチ処理を有効化するかどうかを指定します。この機能は、事前ビルド済みプロセッサモードでのみサポートされます。有効な値は以下のとおりです：

• false（デフォルト）：サーバー側のバッチ処理を無効化します。

• true：サーバー側のバッチ処理を有効化します。

keepalive

いいえ

単一リクエストの最大処理時間（ミリ秒単位）です。リクエストがこの時間を超えると、サーバーは 408 タイムアウトエラーを返して接続を閉じます。デフォルト値：専用ゲートウェイの場合 600000。Application Load Balancer (ALB) 専用ゲートウェイでは、このパラメーターはサポートされていません。

io_threads

いいえ

各インスタンスあたりのネットワーク I/O スレッド数です。デフォルト値：4。

max_batch_size

いいえ

各バッチの最大サイズです。デフォルト値：16。このパラメーターは、事前ビルド済みプロセッサモードでのみサポートされ、rpc.batching が true に設定されている場合にのみ有効です。

max_batch_timeout

いいえ

各バッチの最大タイムアウト（ミリ秒単位）です。デフォルト値：50。このパラメーターは、事前ビルド済みプロセッサモードでのみサポートされ、rpc.batching が true に設定されている場合にのみ有効です。

max_queue_size

いいえ

非同期推論サービスの場合、このパラメーターは最大キュー長を指定します。デフォルト値：64。キューが満杯になると、サーバーは 450 エラーを返して接続を閉じます。サーバーの過負荷を防ぐため、キューはクライアントに対して他のインスタンスでリクエストを再試行するよう積極的に通知できます。応答時間が長いサービスでは、リクエストのバックログおよびタイムアウトを回避するために、キュー長を短くすることを検討してください。

worker_threads

いいえ

同時リクエスト処理のための各インスタンスあたりのワーカースレッド数です。デフォルト値：5。このパラメーターは、事前ビルド済みプロセッサモードでのみサポートされます。

rate_limit

いいえ

QPS レート制限を有効化し、インスタンスが処理できる最大 QPS を指定します。値が 0（デフォルト）の場合、この機能は無効化されます。

たとえば、このパラメーターを 2000 に設定した場合、QPS が 2000 を超えると、リクエストは 429（Too Many Requests）エラーで拒否されます。

enable_sigterm

いいえ

インスタンスが終了状態に入ったときに SIGTERM シグナルを送信するかどうかを指定します。有効な値は以下のとおりです：

• false（デフォルト）：SIGTERM シグナルは送信されません。

• true：インスタンスが終了状態に入ったとき、システムはメインプロセスに SIGTERM シグナルを送信します。サービスプロセスは、このシグナルを処理してカスタムのグレースフル終了を実行する必要があります。シグナルが処理されない場合、メインプロセスは即座に終了し、グレースフル終了が失敗する可能性があります。

rolling_strategy

max_surge

いいえ

ローリングアップデート中に、希望するインスタンス数を超えて作成できる追加インスタンスの最大数です。この値は正の整数またはパーセンテージ（例：「2%」）で指定できます。デフォルト値は「2%」です。この値を増やすと、アップデートプロセスを加速できます。

たとえば、サービスが 100 個のインスタンスを持ち、このパラメーターが 20 に設定されている場合、アップデート開始時にシステムは直ちに 20 個の新しいインスタンスを作成します。

max_unavailable

いいえ

ローリングアップデート中に、利用不可となるインスタンスの最大数です。このパラメーターは、新しいインスタンスのためのリソースを解放し、容量不足によるアップデートの停止を防止します。デフォルト値は、専用リソースグループで 1、パブリックリソースグループで 0 です。

たとえば、このパラメーターが N に設定されている場合、アップデート開始時に N 個の古いインスタンスが直ちに停止されます。

eas.termination_grace_period

いいえ

インスタンスのグレースフル終了期間（秒単位）です。デフォルト値：30。

EAS サービスはローリングアップデート戦略を使用します。インスタンスはまず Terminating 状態に入り、その間にトラフィックが転送されなくなります。その後、インスタンスは指定された期間待機して、進行中のリクエストの処理を完了した後にシャットダウンします。リクエストの処理に長い時間がかかる場合、この値を増やすことで、アップデート中にすべてのリクエストが完了することを保証できます。

scheduling

spread.policy

いいえ

サービスインスタンスのスケジューリング向けのディストリビューションポリシーです。サポートされるポリシーは以下のとおりです：

• host：インスタンスを異なるノードに分散します。

• zone：インスタンスを異なる可用性ゾーンに分散します。

• default：アクティブなディストリビューション戦略なしで、デフォルトのスケジューリングポリシーを使用します。

構成例：

{
  "metadata": {
    "scheduling": {
      "spread": {
        "policy": "host"
      }
    }
}

resource_rebalancing

いいえ

リソースのリバランスを有効化するかどうかを指定します。有効な値は以下のとおりです：

• false（デフォルト）：この機能を無効化します。

• true：EAS が高優先度リソース上で定期的にプローブインスタンスを作成するようになります。プローブインスタンスが正常にスケジュールされた場合、システムは指数関数的にさらに多くのプローブインスタンスを作成し、スケジュールに失敗するまで続けます。正常にスケジュールされたプローブインスタンスが準備完了すると、低優先度リソース上で実行中のインスタンスと置き換えられます。

この機能は、以下の問題の解決に役立ちます：

• ローリングアップデート中に、終了中のインスタンスがリソースを占有し、新しいインスタンスが専用リソースグループに再スケジュールされる前にパブリックリソースグループで開始してしまう場合。

• スポットインスタンスと通常のインスタンスの両方を使用している場合、システムが定期的に利用可能なスポットインスタンスを確認し、利用可能であれば通常のインスタンスからスポットインスタンスへインスタンスを移行する場合。

workload_type

いいえ

EAS サービスをジョブとしてデプロイするには、このパラメーターを elasticjob に設定します。Elastic Job サービスの詳細については、「Elastic Job サービス」をご参照ください。

resource_burstable

いいえ

専用リソースグループにデプロイされた EAS サービス向けに、弾力的リソースプール 機能を有効化します。有効な値は以下のとおりです：

• true：この機能を有効化します。

• false：この機能を無効化します。

shm_size

いいえ

インスタンスの共有メモリサイズ（GB 単位）です。共有メモリは、データのレプリケーションや転送を行わずに直接メモリアクセスを提供します。