API Gateway:スロットリング

機能

• リソースの過負荷防止：コンシューマー、ヘッダー、クエリパラメーター、Cookie、クライアント IP、またはモデル名ごとにリクエストを制限して、過負荷を防止します。パフォーマンスを向上させるには、キャッシング ポリシーと組み合わせます。

• 動的トラフィック制御：スロットリングを秒、分、時間、または日単位で適用し、高い同時実行性の下でも安定性を維持します。

• 複数のマッチングルール：ルールのターゲットを柔軟に指定できるよう、完全一致、前方一致、正規表現一致、任意一致をサポートします。

• 複数のスロットリングモード：トークン消費、リクエスト数、または同時実行数に基づいてスロットリングします。

• きめ細かいモデル制御：高コストのリソースを保護するため、モデル名ごとに異なるしきい値を設定します。

• グローバル制限：トークン消費、リクエスト数、同時実行数の合計に対して、API 全体のフォールバック制限を適用します。

• 悪意のある攻撃の防止：特定のコンシューマー、ヘッダー、クエリパラメーター、Cookie、またはクライアント IP をスロットリングして、クローラーと自動化された不正使用をブロックします。

ユースケース

• 高同時実行シナリオ：E コマースのプロモーション期間中に、単位時間あたりのトークン消費量を制限して、悪意のある高頻度な呼び出しを防ぎ、安定性と公平性を確保します。

• AI サービスの呼び出し：LLM API への呼び出しをスロットリングして、トラフィックバーストによるサービスの低下やシステムクラッシュを防ぎます。

• マルチテナントシステム：テナントごとに個別のクォータを割り当てて、公平性とリソースの隔離を確保します。

• きめ細かいモデル制御：モデルごとの使用制限 (例: qwen-max と qwen-plus に異なるクォータ) を設定して、高コストのリソースを保護します。

• グローバルなトラフィック保護：API 全体の合計トークン消費量、リクエスト数、および同時実行数を制限します。

• 悪意のある攻撃からの保護：クローラー、DDoS 攻撃、API の不正使用から防御します。

手順

1. AI Gateway コンソール の [インスタンス] ページに移動します。トップメニューバーで、ターゲットインスタンスが所在するリージョンを選択し、ターゲットの [インスタンス ID] をクリックします。

2. 左側メニューで [Model API] をクリックし、ターゲットの [API 名] をクリックして [API 詳細] ページに移動します。

3. [ポリシーとプラグイン] をクリックし、[スロットリング] スイッチをオンにして関連パラメーターを設定します。

注意 1 つのリクエストは、同時に最大 10 個のルールに一致することがあります。

マッチングルール

コンシューマー別、リクエストヘッダー別、リクエストクエリ別、およびリクエスト Cookie 別の条件は、以下の 4 つの マッチングルール に対応しています。優先度： 完全一致 > 前方一致 > 正規表現マッチ > 任意マッチ。

注意 複数のルールを設定した場合、リクエストがいずれかのルールに一致すると、スロットリングが適用されます。クライアント IP 別およびモデル別の条件は、固定のマッチング方法を使用するため、手動でルールを選択する必要はありません。

制限単位とモード

各スロットリングルールについて、異なるメータリング方式に対応する 制限単位 を選択します：

スロットリングポリシーは、制限単位と組み合わせて使用する、以下の タイムウィンドウ をサポートします：

注意 同時実行数スロットリングにはタイムウィンドウは必要ありません。最大同時実行数を直接設定できます。

設定例

よくある質問

Q：スロットリングルールは最大でいくつ設定できますか？

A：1 つのリクエストが同時に一致できるルールは最大 10 個です。必要に応じてディメンション間でルールを組み合わせることができますが、ルールが少ないほどパフォーマンスが向上します。

Q：複数のルールはどのように相互作用しますか？

A：ルールでは OR ロジックが使用され、いずれかのルールに一致するとスロットリングがトリガーされます。同じ条件と一致キーを持つルールは、1 つのルールグループにマージされます。

Q：グローバル制限と標準スロットリングルールを同時に使用できますか？

A：はい。グローバル制限は、キーを区別せずに API 全体に適用されるフォールバックとして機能し、標準ルールはディメンションごとにきめ細かい制御を実現します。いずれかの制限を超えると、スロットリングがトリガーされます。

Q：モデルによるスロットリングとリクエストヘッダーによるスロットリングの違いは何ですか？

A: モデルによるスロットリングは、x-higress-llm-model ヘッダーでの完全一致に自動的に変換されます。前方一致または正規表現マッチングの場合は、「リクエストヘッダーによる」を使用し、パラメーター名に x-higress-llm-model を指定します。

Q：トークン、リクエスト数、同時実行数の各制限を組み合わせることはできますか？

A：はい。同じ条件に対して、異なる制限単位を持つ複数のルールを追加できます (例：1 つのモデルに対して毎分トークン制限と最大同時実行数制限を設定)。これらは独立してカウントされ、いずれかの制限に達するとスロットリングがトリガーされます。

Q：クライアント IP によるスロットリングでは、一致ルールとタイムウィンドウのオプションがないのはなぜですか？

A: クライアント IP のスロットリングは簡素化されています。IP アドレスまたは範囲を入力すると、システムが自動的に照合を行います。すべてのクライアント IP に制限を適用するには、0.0.0.0/0 を入力します。

Q：ルールの順序はスロットリングの動作に影響しますか？

A: ルールは、ドラッグアンドドロップでの並べ替えに対応しています。ただし、ルールは OR ロジック (いずれかのルールに一致するとスロットリングが作動する) を使用するため、順序は動作に影響しません。

Q：スロットリング設定の更新が反映されるまでにどのくらい時間がかかりますか？

A：システムが新しいルールをゲートウェイデータプレーンにプッシュした後、通常は数秒以内に変更が反映されます。

Q：分散アーキテクチャでのスロットリングの精度はどの程度ですか？

A：分散システムでは、スロットリングのカウントにわずかな偏差が生じる可能性があります。実際に許可されるリクエスト数は、リクエストの量、レート、バックエンドレイテンシーに応じて、設定された制限値と異なる場合があります。