Platform For AI:非同期推論サービスのデプロイ

非同期推論サービスへのアクセス

システムは同名のサービスグループを作成します。キューサブサービスが着信トラフィックを処理するため、次のエンドポイントを介して直接アクセスしてください。「キューサービスへのアクセス」をご参照ください。

非同期推論サービスの管理

非同期推論サービスは、通常のサービスと同様に管理できます。システムはサブサービスを自動的に管理します。サービスを削除すると両方のサブサービスが削除され、推論サブサービスを更新してもキューサブサービスは変更されません。

レプリカを 1 つ設定した場合でも、インスタンスリストには追加のキューサブサービスインスタンスが表示されます。

レプリカ数は、推論サブサービスのレプリカを指します。キューサブサービスのレプリカは自動的にスケーリングされます。たとえば、推論レプリカを 3 にスケーリングすると、キューレプリカは 2 に増加します。

レプリカスケーリングのルール：

• サービスが停止されると、両方のサブサービスは 0 レプリカにスケールダウンされます。

• 推論レプリカが 1 つの場合、キューサブサービスも (別途設定されていない限り) 1 つのレプリカになります。

• 推論レプリカが 2 つ以上の場合、キューサブサービスは (別途設定されていない限り) 2 つのレプリカを維持します。

• オートスケーリングで最小 0 レプリカが許可されている場合、推論レプリカが 0 にスケーリングされると、キューサブサービスは 1 つのスタンバイレプリカを保持します。

キューサブサービスのパラメーター

ほとんどの場合、キューサブサービスはデフォルト設定で動作します。カスタマイズは、JSON ファイルのトップレベルにある queue フィールドで行います：

{  
  "queue": {
     "sink": {
        "memory_ratio": 0.3
     },
     "source": {
        "auto_evict": true,
     }
 }

以降のセクションで、各設定オプションについて説明します。

キューサブサービスのリソース

デフォルトでは、キューサブサービスのリソースは metadata から継承されます。必要に応じて、個別に設定できます。

• queue.resource を使用して、キューサブサービスのリソースグループを指定します。

  {
    "queue": {
      "resource": "eas-r-slzkbq4tw0p6xd****"  // デフォルトでは、推論サブサービスのリソースグループが使用されます。
    }
  }

  • デフォルトは、推論サブサービスのリソースグループです。

  • キューサブサービスをパブリックリソースグループにデプロイするには、resource を空の文字列 ("") に設定します。これは、専用リソースグループに CPU やメモリが不足している場合に役立ちます。

    説明

    可能な場合は、キューサブサービスをパブリックリソースグループにデプロイしてください。

• queue.cpu と queue.memory を使用して、各キューサブサービスレプリカの CPU (コア単位) とメモリ (MB 単位) を指定します。

  {
    "queue": {
       "cpu": 2,  // デフォルト: 1
       "memory": 8000  // デフォルト: 4000
    }
  }

  デフォルト (1 CPU コア、4 GB メモリ) は、ほとんどのシナリオで十分です。

  重要

  • サブスクライバー (推論サブサービスのレプリカ) が 200 を超える場合は、2 コア以上の CPU を設定してください。

  • 本番環境では、キューサブサービスのメモリを減らさないでください。

• queue.min_replica を使用して、キューサブサービスの最小レプリカ数を設定します。

  {
    "queue": {
       "min_replica": 3  // デフォルト: 1
    }
  }

  キューサブサービスのレプリカは、実行中の推論レプリカ数に応じて自動的にスケーリングされます。デフォルトの範囲は [1, min{2, 推論サブサービスのレプリカ数}] です。オートスケーリングで 0 へのスケーリングが許可されている場合、1 つのキューレプリカが保持されます。この最小値を調整するには、queue.min_replica を使用します。

  説明

  キューレプリカを増やすと、パフォーマンスではなく可用性が向上します。

キューサブサービスの機能

キューサブサービスは、次の機能設定をサポートしています。

• それぞれ queue.sink.auto_evict または queue.source.auto_evict を使用して、シンクキューと入力キューの自動データエビクションを設定します。

  {
    "queue": {
       "sink": {
          "auto_evict": true  // シンクキューの自動エビクションを有効にします。デフォルト: false
        },
        "source": {
           "auto_evict": true  // 入力キューの自動エビクションを有効にします。デフォルト: false
        }
    }
  }

  自動データエビクションはデフォルトで無効になっており、キューがいっぱいになると新しいデータは拒否されます。エビクションを有効にすると、最も古いデータが削除され、新しいデータ用のスペースが確保されます。

• queue.max_delivery を使用して、最大配信試行回数を設定します。

  {
     "queue": {
        "max_delivery": 10  // 最大配信試行回数は 10。デフォルト: 5。0 に設定すると、この機能は無効になり、データは無制限に配信されます。
     }
  }

  配信試行回数がしきい値を超えると、メッセージはデッドレターとしてマークされます。「デッドレターポリシー」をご参照ください。

• queue.max_idle を使用して、メッセージの最大処理時間を設定します。

  {
      "queue": {
        "max_idle": "1m"  // 1 つのメッセージの最大処理時間を 1 分に設定します。この時間を超えると、メッセージは別のサブスクライバーに配信され、配信回数が増加します。デフォルト値は 0 で、最大処理時間がないことを意味します。
      }
  }

  サポートされている時間単位： h (時間)、m (分)、s (秒)。処理が設定された期間を超えた場合：

  • queue.max_delivery のしきい値を超えていない場合、メッセージは他のサブスクライバーに再配信されます。

  • queue.max_delivery のしきい値を超えた場合、デッドレターポリシーが適用されます。

• queue.dead_message_policy を使用して、デッドレターポリシーを設定します。

  {
      "queue": {
        "dead_message_policy":  "Rear"  // 値は Rear (デフォルト) または Drop です。Rear はメッセージをキューの末尾に移動します。Drop はメッセージを削除します。 																 
      }
  }

キューの長さまたは最大ペイロードサイズ

キューレプリカのメモリは固定されています。メッセージあたりの最大ペイロードサイズを増やすと、キューの最大長は減少します。

• それぞれ queue.sink.max_length または queue.source.max_length を使用して、シンクキューと入力キューの最大長を設定します。

  {
      "queue": {
         "sink": {
            "max_length": 8000  // シンクキューの最大長を 8,000 メッセージに設定します。
         },
         "source": {
            "max_length": 2000  // 入力キューの最大長を 2,000 メッセージに設定します。
         }
      }
  }

• それぞれ queue.sink.max_payload_size_kb または queue.source.max_payload_size_kb を使用して、シンクキューと入力キューのメッセージあたりの最大ペイロードサイズを設定します。

  {
      "queue": {
         "sink": {
            "max_payload_size_kb": 10,  // シンクキューのメッセージあたりの最大ペイロードサイズを 10 KB に設定します。デフォルト: 8 KB
         },
         "source": {
            "max_payload_size_kb": 1024  // 入力キューのメッセージあたりの最大ペイロードサイズを 1024 KB (1 MB) に設定します。デフォルト: 8 KB
         }
      }
  }

メモリ割り当て比率

• queue.sink.memory_ratio を使用して、入力キューとシンクキュー間のメモリ割り当てを調整します。

  {
      "queue": {
         "sink": {
            "memory_ratio": 0.9  // シンクキューのメモリ比率を設定します。デフォルト: 0.5
         }
      }
  }

  説明

  デフォルトでは、入力キューとシンクキューはメモリを均等に共有します。シンクキューがより多くのスペースを必要とする場合 (たとえば、テキスト入力と画像出力)、queue.sink.memory_ratio を増やします。その逆の場合は減らします。

水平オートスケーリング

仕組み

システムは、キューの状態に基づいて推論レプリカを動的にスケーリングします。これには、キューが空の場合のゼロへのスケーリングも含まれます。次の図は、その仕組みを示しています。