Platform For AI:非同期推論

非同期推論サービスへのアクセス

デフォルトでは、システムは非同期推論サービスと同じ名前のサービスグループを作成します。グループ内のキューサブサービスは、グループのデータ入力ポイントを持ちます。次の表のパスを使用して、キューサブサービスにアクセスできます。詳細については、「キューサービスへのアクセス」をご参照ください。

非同期推論サービスの管理

非同期推論サービスは、他のサービスと同じ方法で管理できます。非同期推論サービスのサブサービスは、システムによって管理されます。たとえば、非同期推論サービスを削除すると、キューサブサービスと推論サブサービスも削除されます。推論サブサービスを更新しても、更新はキューサブサービスに影響しません。これにより、サービスの可用性が確保されます。

推論サブサービス用に構成したインスタンスに加えて、サブサービスアーキテクチャはインスタンスリストにキューサブサービスを表示します。

非同期推論サービスのインスタンス数は、推論サブサービスインスタンスの数によって異なります。キューサブサービスインスタンスの数は、推論サブサービスインスタンスの数に基づいて自動的に変更されます。たとえば、推論サブサービスインスタンスの数を 3 に増やすと、キューサブサービスインスタンスの数は 2 に増えます。

2 つのサブサービス間では、次のルールが有効です。

• 非同期推論サービスが停止すると、キューサブサービスと推論サブサービスのインスタンス数は 0 に減ります。インスタンスリストは空になります。

• 推論サブサービスのインスタンス数が 1 の場合、キューサブサービスのインスタンス数も 1 です。カスタム構成によって、キューサブサービスのインスタンス数を変更できます。

• 推論サブサービスのインスタンス数が 2 を超える場合、キューサブサービスのインスタンス数は 2 のままです。カスタム構成によって、キューサブサービスのインスタンス数を変更できます。

• 非同期推論サービスの自動スケーリング機能を有効にして、最小インスタンス数を 0 に設定すると、推論サブサービスのインスタンス数が 0 に減少したときに、キューサブサービスは 1 つのインスタンスを保持します。

キューサブサービスのパラメーター構成

ほとんどの場合、キュー サブサービスのデフォルト構成を使用できます。特別な要件がある場合は、JSON ファイルの queue フィールドを変更することで、キュー サブサービスを構成できます。サンプルファイル：

{  
  "queue": {
     "sink": {
        "memory_ratio": 0.3 // メモリ比率
     },
     "source": {
        "auto_evict": true, // 自動削除
     }
 }

以下のセクションでは、特定の設定項目について説明します。

キュー サブサービスのリソースを構成する

デフォルトでは、キュー サブサービスのリソースはメタデータフィールドに基づいて構成されます。リソースの構成を変更するには、次の手順を実行します。

• queue.resource パラメーターを使用して、サブサービスが使用するリソースグループを指定します。

  {
    "queue": {
      "resource": eas-r-slzkbq4tw0p6xd**** // デフォルトでは、推論サブサービスのリソースグループが使用されます。
    }
  }

  • デフォルトでは、キューサブサービスは推論サブサービスのリソースグループを使用します。

  • パブリックリソースグループを使用してキューサブサービスをデプロイする場合は、resource パラメーターを空のままにすることができます。 専用リソースグループの CPU とメモリーリソースが不足している場合に、この方法を使用できます。

    説明

    パブリックリソースグループを使用してキューサブサービスをデプロイすることをお勧めします。

• queue.cpu パラメーターと queue.memory パラメーターを使用して、各インスタンスの CPU コア数とメモリーを指定します。

  {
    "queue": {
       "cpu": 2, // デフォルト値：1。
       "memory": 8000 // デフォルト値：4000。
    }
  }

  デフォルトでは、システムはキューサブサービス用に 1 vCPU と 4 GB のメモリーを持つインスタンスを作成します。 ほとんどの場合、この仕様はビジネス要件を満たすことができます。

  重要

  • 推論サブサービスのインスタンス数など、サブスクライバーの数が 200 を超える場合は、CPU コア数を 2 より大きい値に設定することをお勧めします。

  • 本番環境では、小さいメモリーサイズを使用しないことをお勧めします。

• queue.min_replica パラメーターを使用して、キューサブサービスインスタンスの最小数を指定します。

  {
    "queue": {
       "min_replica": 3 // デフォルト値：1。
    }
  }

  非同期推論サービスを使用する場合、キューサブサービスインスタンスの数は、推論サブサービスのruntime インスタンスの数に基づいて自動的に調整されます。 インスタンス数の有効な値：[1, min(2, 推論サブサービスインスタンスの数)]。 インスタンス数を 0 にできる非同期推論サービスの自動スケーリングルールを構成すると、システムはキューサブサービスのインスタンスを 1 つ自動的に保持します。 queue.min_replica パラメーターを使用して、キューサービスインスタンスの最小数を指定します。

  説明

  キューサブサービスインスタンスの数を増やすことで、サービスの可用性を向上させることができます。 インスタンスの数はサービスのパフォーマンスには影響しません。

キュー サブサービスの機能を構成する

このセクションでは、キュー サブサービスの機能構成について説明します。

• queue.sink.auto_evict パラメーターまたは queue.source.auto_evict パラメーターを使用して、出力キューまたは入力キューの自動データエビクションを設定します。

  {
    "queue": {
       "sink": {
          "auto_evict": true // 出力キューの自動エビクションを有効にします。デフォルト値：false。
        },
        "source": {
           "auto_evict": true // 入力キューの自動エビクションを有効にします。デフォルト値：false。
        }
    }
  }

  デフォルトでは、キューの自動データエビクションは無効になっています。キューが容量の上限に達すると、データはキューに書き込めなくなります。特定のシナリオでは、自動データエビクションを有効にして、キューが最も古いデータを自動的にエビクトし、新しいデータが書き込まれるようにすることができます。

• queue.max_delivery パラメーターを使用して、データ配信の最大数を設定します。

  {
     "queue": {
        "max_delivery": 10 // データ配信の最大数を 10 に設定します。デフォルト値：5。値を 0 に設定すると、データは無制限に配信できます。
     }
  }

  単一のデータエントリの配信回数がこの値を超えると、データは処理できなくなり、デッドレターメッセージとして処理されます。詳細については、「デッドレターポリシー」をご参照ください。

• queue.max_idle パラメーターを使用して、最大データ処理時間を指定します。

  {
      "queue": {
        "max_idle": "1m" // 単一データエントリの最大処理時間を 1 分に設定します。処理時間が 1 分を超えると、データエントリは他のサブスクライバーに配信されます。データが配信されると、配信カウントが 1 ずつ増加します。
        															// デフォルト値は 0 で、データ処理時間に制限がないことを指定します。
      }
  }

  この例では、パラメーターは 1 分に設定されています。時間の場合は h、分の場合は m、秒の場合は s など、他の単位を指定できます。単一データエントリの処理時間がこのパラメーターの値を超えると、次の状況が発生する可能性があります。

  • データエントリの配信時間が queue.max_delivery パラメーターで指定されたしきい値を超えない場合、データは他のサブスクライバーに配信されます。

  • データエントリの配信時間が queue.max_delivery パラメーターで指定されたしきい値を超える場合、システムはデータにデッドレターポリシーを適用します。

• queue.dead_message_policy パラメーターを使用して、デッドレターポリシーを設定します。

  {
      "queue": {
        "dead_message_policy": 有効な値：Rear と Drop。Rear 値は、データがテールキューに配置されることを示します。Drop 値は、データが削除されることを示します。
  																				// デフォルト値：Rear。
      }
  }

最大キュー長またはデータ量を設定する

次の数式は、最大キュー長と最大データ ボリュームの関係を示しています。

キュー サブサービス インスタンスのメモリは固定です。キューの長さは、データ エントリのサイズの増加に伴って減少します。

• queue.sink.max_length パラメーターまたは queue.source.max_length パラメーターを使用して、出力キューまたは入力キューの最大長を指定します。

  {
      "queue": {
         "sink": {
            "max_length": 8000 // 出力キューの最大長を 8000 エントリに設定します。
         },
         "source": {
            "max_length": 2000 // 入力キューの最大長を 2000 エントリに設定します。
         }
      }
  }

• queue.sink.max_payload_size_kb パラメーターまたは queue.source.max_payload_size_kb パラメーターを使用して、出力キューまたは入力キューの単一のデータ エントリの最大データ ボリュームを指定します。

  {
      "queue": {
         "sink": {
            "max_payload_size_kb": Set the maximum size of a single data entry in the output queue to 10 KB. Default value: 8 KB. // 出力キューの単一データエントリの最大サイズを 10 KB に設定します。デフォルト値：8 KB。
         },
         "source": {
            "max_payload_size_kb": 1024 // 入力キューの単一データエントリの最大サイズを 1024 KB（1 MB）に設定します。デフォルト値：8 KB。
         }
      }
  }

メモリ割り当てを構成する

• queue.sink.memory_ratio パラメーターを使用して、入力キューと出力キューが占有するメモリサイズを調整します。

  {
      "queue": {
         "sink": {
            "memory_ratio": 0.9 // 出力キューのメモリ比率を指定します。デフォルト値：0.5。
         }
      }
  }

  説明

  デフォルトでは、キュー サブサービス インスタンスのメモリは、入力キューと出力キューで均等に分割されます。サービスの入力がテキストで出力が画像の場合、出力キューに多くのデータを格納するには、queue.sink.memory_ratio パラメーターの値を大きくします。サービスの入力が画像で出力がテキストの場合、queue.sink.memory_ratio パラメーターの値を小さくします。