Platform For AI:非同期推論サービスのデプロイ

非同期推論サービスへのアクセス

システムは同名のサービスグループを作成します。キューサブサービスが着信トラフィックを処理するため、次のエンドポイントを通じて直接アクセスしてください。キューサービスへのアクセス。

非同期推論サービスの管理

非同期推論サービスは、通常のサービスと同様に管理します。システムはサブサービスを自動的に管理します。サービスを削除すると両方のサブサービスが削除され、推論サブサービスを更新してもキューサブサービスは変更されません。

レプリカを 1 つ設定した場合でも、インスタンスリストにはキューサブサービスのインスタンスが追加で表示されます。

レプリカ数は推論サブサービスのレプリカを指します。キューサブサービスのレプリカは自動的にスケーリングされます。たとえば、推論レプリカを 3 にスケーリングすると、キューレプリカは 2 に増加します。

レプリカのスケーリングルール：

• サービスが停止すると、両方のサブサービスは 0 レプリカにスケーリングされます。

• 推論レプリカが 1 つの場合、キューサブサービスも (別途設定しない限り) 1 つのレプリカになります。

• 推論レプリカが 2 つ以上の場合、キューサブサービスは (別途設定しない限り) 2 つのレプリカになります。

• オートスケーリングで最小レプリカ数0が許可されている場合、推論レプリカが0にスケールダウンされると、キューサブサービスはスタンバイレプリカを1つ保持します。

キューサブサービスのパラメーター

ほとんどの場合、キューサブサービスはデフォルト設定で動作します。カスタマイズするには、JSON ファイルの最上位にある queue フィールドで設定してください。

{  
  "queue": {
     "sink": {
        "memory_ratio": 0.3
     },
     "source": {
        "auto_evict": true,
     }
 }

以下のセクションでは、設定オプションについて説明します。

キューサブサービスのリソース

デフォルトでは、キューサブサービスのリソースは metadata から継承されます。必要に応じて、これらを個別に設定できます。

• queue.resource を使用して、キューサブサービスのリソースグループを設定します。

  {
    "queue": {
      "resource": "eas-r-slzkbq4tw0p6xd****"  // デフォルトでは、推論サブサービスのリソースグループを使用します。
    }
  }

  • デフォルトは推論サブサービスのリソースグループです。

  • キューサブサービスをパブリックリソースグループにデプロイするには、resource を空の文字列 ("") に設定してください。これは、専用リソースグループに CPU またはメモリが不足している場合に便利です。

    説明

    可能な場合は、キューサブサービスをパブリックリソースグループにデプロイすることを推奨します。

• queue.cpu と queue.memory を使用して、各キューサブサービスのレプリカの CPU (コア単位) とメモリ (MB 単位) を設定します。

  {
    "queue": {
       "cpu": 2,  // デフォルト：1
       "memory": 8000  // デフォルト：4000
    }
  }

  デフォルト (1 CPU コア、4 GB メモリ) は、ほとんどのシナリオで十分です。

  重要

  • 200 を超えるサブスクライバー (推論サブサービスのレプリカ) の場合は、2 コア以上の CPU を設定します。

  • 本番環境では、キューサブサービスのメモリを減らさないでください。

• queue.min_replica を使用して、キューサブサービスの最小レプリカ数を設定します。

  {
    "queue": {
       "min_replica": 3  // デフォルト：1
    }
  }

  キューサブサービスのレプリカは、実行中の推論レプリカとともに自動的にスケーリングされます。デフォルトの範囲は [1, min{2, 推論サブサービスのレプリカ数}] です。オートスケーリングが 0 へのスケーリングを許可している場合、1 つのキューレプリカが保持されます。queue.min_replica を使用して、この最小値を調整できます。

  説明

  キューレプリカを増やすと可用性は向上しますが、パフォーマンスは向上しません。

キューサブサービスの機能

キューサブサービスは、次の機能設定をサポートしています。

• シンクキューと入力キューの自動データエビクションを、それぞれ queue.sink.auto_evict または queue.source.auto_evict を使用して設定します。

  {
    "queue": {
       "sink": {
          "auto_evict": true  // シンクキューの自動エビクションを有効にします。デフォルト：false
        },
        "source": {
           "auto_evict": true  // 入力キューの自動エビクションを有効にします。デフォルト：false
        }
    }
  }

  デフォルトでは自動エビクションは無効になっており、キューが満杯になると新しいデータを拒否します。エビクションを有効にすると、最も古いデータが破棄され、新しいエントリのためのスペースが確保されます。

• queue.max_delivery を使用して、最大配信試行回数を設定します。

  {
     "queue": {
        "max_delivery": 10  // 最大配信試行回数は 10 回です。デフォルト：5。0 に設定すると、この機能は無効になり、データは無制限に配信できます。
     }
  }

  配信試行回数がしきい値を超えると、メッセージはデッドレターとしてマークされます。デッドレターポリシー。

• queue.max_idle を使用して、メッセージの最大処理時間を設定します。

  {
      "queue": {
        "max_idle": "1m"  // 単一メッセージの最大処理時間を 1 分に設定します。この時間を超えると、メッセージは別のサブスクライバーに配信され、配信回数が増加します。デフォルト値は 0 で、最大処理時間がないことを意味します。
      }
  }

  サポートされている時間単位：h (時間)、m (分)、s (秒)。処理が設定された期間を超えた場合：

  • queue.max_delivery のしきい値を超えていない場合、メッセージは他のサブスクライバーに再配信されます。

  • queue.max_delivery のしきい値を超えている場合、デッドレターポリシーが適用されます。

• queue.dead_message_policy を使用して、デッドレターポリシーを設定します。

  {
      "queue": {
        "dead_message_policy":  "Rear"  // 値は Rear (デフォルト) または Drop です。Rear はメッセージをキューの末尾に移動します。Drop はメッセージを削除します。
      }
  }

キューの長さまたは最大ペイロードサイズ

キューレプリカのメモリは固定されています。メッセージあたりの最大ペイロードサイズを増やすと、最大キュー長は減少します。

• シンクキューと入力キューの最大長を、それぞれ queue.sink.max_length または queue.source.max_length を使用して設定します。

  {
      "queue": {
         "sink": {
            "max_length": 8000  // シンクキューの最大長を 8,000 メッセージに設定します。
         },
         "source": {
            "max_length": 2000  // 入力キューの最大長を 2,000 メッセージに設定します。
         }
      }
  }

• シンクキューと入力キューのメッセージあたりの最大ペイロードサイズを、それぞれ queue.sink.max_payload_size_kb または queue.source.max_payload_size_kb を使用して設定します。

  {
      "queue": {
         "sink": {
            "max_payload_size_kb": 10  // シンクキューのメッセージあたりの最大ペイロードサイズを 10 KB に設定します。デフォルト：8 KB
         },
         "source": {
            "max_payload_size_kb": 1024  // 入力キューのメッセージあたりの最大ペイロードサイズを 1024 KB (1 MB) に設定します。デフォルト：8 KB
         }
      }
  }

メモリ割り当て比率

• queue.sink.memory_ratio を使用して、入力キューとシンクキュー間のメモリ割り当て比率を調整します。

  {
      "queue": {
         "sink": {
            "memory_ratio": 0.9  // シンクキューのメモリ比率を設定します。デフォルト：0.5
         }
      }
  }

  説明

  デフォルトでは、入力キューとシンクキューはメモリを均等に共有します。シンクキューにより多くのスペースが必要な場合 (たとえば、テキスト入力と画像出力)、queue.sink.memory_ratio を増やしてください。逆の場合は減らしてください。

水平オートスケーリング

仕組み

システムは、キューの状態に基づいて推論レプリカを動的にスケーリングします。これには、キューが空の場合のゼロへのスケーリングも含まれます。次の図は、そのメカニズムを示しています。