Elasticsearch:aliyun-qos クラスタースロットルプラグインの使用方法

適用前のプレビュー モード

速度制限を適用する前に、watchMode を使用して、安全に構成を検証できます。watchMode を true に設定すると、プラグインはリクエストを実際に拒否することなく、メトリクスに拒否されたリクエスト数を記録します。メトリクスを確認してしきい値が適切であることを確認した後、watchMode を false に設定して、適用モードに切り替えてください。

リミッターの構文

PUT /_qos/limiter/<limiterName>
{
  "limiters": {
     ${action}.${limiter_type}:${threshold}
  },
  "tags": {
    ${tagName}:${tagValue}
  },
  "priority":0,
  "params":{
      "watchMode":true
  }
}

リミッターのパラメーター

リミッターの種類のリファレンス

タグ名のリファレンス

読み取りリクエストの QPS スロットル

クライアントノードが 1 秒間に受信する検索リクエスト数を制限します。タグ値には、インデックス名の完全一致およびワイルドカードパターンの両方がサポートされます。Elasticsearch V7.10 の場合、index タグキーを使用します。その他のすべてのバージョンでは、index_patterns タグキーを使用します。

Elasticsearch V7.10 — 特定のインデックスをスロットル：

PUT /_qos/limiter/<limiterName>
{
  "limiters": {
    "search.qps": "1000"
  },
  "tags": {
    "index": "twitter"
  }
}

Elasticsearch V7.10 — 名前にプレフィックスを持つインデックスをスロットル：

PUT /_qos/limiter/<limiterName>
{
  "limiters": {
    "search.qps": "1000"
  },
  "tags": {
    "index": "nginx-log-*"
  }
}

Elasticsearch V7.10 — 各インデックスを個別にスロットル（インデックス単位の制限）：

PUT /_qos/limiter/<limiterName>
{
  "limiters": {
    "search.qps": "1000"
  },
  "tags": {
    "index": "**"
  }
}

index:** は、しきい値を各インデックスに個別に適用します。たとえば、クラスターに A、B、C というインデックスがある場合、それぞれが独立して 1,000 QPS で制限されます。

Elasticsearch V7.10 — すべてのインデックスにわたる合計 QPS をスロットル：

PUT /_qos/limiter/<limiterName>
{
  "limiters": {
    "search.qps": "1000"
  },
  "tags": {
    "index": "*"
  }
}

index:* は、すべてのインデックスの合計 QPS にしきい値を適用します。tags フィールドを省略しても、同じ効果が得られます。

その他のすべてのバージョン — 特定のインデックスをスロットル：

PUT _qos/_ratelimit/<limiterName>
{
  "search.index_patterns" : "twitter",
  "search.max_queries_per_sec" : 1000
}

その他のすべてのバージョン — 名前にプレフィックスを持つインデックスをスロットル：

PUT _qos/_ratelimit/<limiterName>
{
  "search.index_patterns" : "nginx-log-*",
  "search.max_queries_per_sec" : 1000
}

その他のすべてのバージョン — すべてのインデックスにわたる合計 QPS をスロットル：

PUT _qos/_ratelimit/<limiterName>
{
  "search.index_patterns" : "*",
  "search.max_queries_per_sec" : 1000
}

複数のルールを同時に有効にできます。リクエストがいずれかのルールに一致した場合、そのリクエストはスロットルされます。

QPS スロットル時のエラー

QPS が設定されたしきい値を超えると、システムは 429 エラーを返します。このエラーを解決するには、クライアント側の QPS を減らしてください。

Elasticsearch V7.10 の場合：

{
  "error": {
    "root_cause": [
      {
        "type": "status_exception",
        "reason": "search blocked, limited by [<limiterName>][search.qps](<limiterId>) threshold:[x]"
      }
    ],
    "type": "status_exception",
    "reason": "search blocked, limited by [<limiterName>][search.qps](<limiterId>) threshold:[x]"
  },
  "status": 429
}

その他のすべてのバージョンの場合：

{
  "error": {
    "root_cause": [
      {
        "type": "rate_limited_exception",
        "reason": "request indices:data/read/search rejected, limited by [l1:t*:1.0]"
      }
    ],
    "type": "rate_limited_exception",
    "reason": "request indices:data/read/search rejected, limited by [l1:t*:1.0]"
  },
  "status": 429
}

書き込みリクエストの TPS スロットル

クライアントノードが 1 秒間に受信する書き込みリクエスト数を制限します。タグ値には、インデックス名の完全一致およびワイルドカードパターンの両方がサポートされます。Elasticsearch V7.10 の場合、index タグキーを使用します。その他のすべてのバージョンでは、index_patterns タグキーを使用します。

Elasticsearch V7.10：

PUT /_qos/limiter/<limiterName>
{
  "limiters": {
    "write.tps": "100000"
  },
  "tags": {
    "index": "nginx-log-*"
  }
}

TPS スロットルは、その他の Elasticsearch バージョンではサポートされていません。

バルク書き込みのスループットのスロットル（1 秒あたりの合計）

クライアントノードに対するすべてのバルクリクエストの 1 秒あたりの合計書き込みバイト数を制限します。「バルク API」をご参照ください。タグ値には、インデックス名の完全一致およびワイルドカードパターンの両方がサポートされます。Elasticsearch V7.10 の場合、index タグキーを使用します。その他のすべてのバージョンでは、index_patterns タグキーを使用します。

Elasticsearch V7.10：

PUT /_qos/limiter/<limiterName>
{
  "limiters": {
    "write.throughput": "100MB"
  },
  "tags": {
    "index": "nginx-log-*"
  }
}

その他のすべてのバージョン：

PUT _qos/_ratelimit/<limiterName>
{
  "bulk.index_patterns": "nginx-log-*",
  "bulk.max_throughput_in_bytes" : 104857600
}

複数のルールを同時に有効にできます。リクエストがいずれかのルールに一致した場合、そのリクエストはスロットルされます。

バルク書き込みのリクエスト単位サイズのスロットル

クライアントノードに対する 1 つのバルクリクエストで書き込まれる最大バイト数を制限します。「バルク API」をご参照ください。タグ値には、インデックス名の完全一致およびワイルドカードパターンの両方がサポートされます。Elasticsearch V7.10 の場合、index タグキーを使用します。その他のすべてのバージョンでは、index_patterns タグキーを使用します。

Elasticsearch V7.10：

PUT /_qos/limiter/<limiterName>
{
  "limiters": {
    "write.max_size_per_request": "1000"
  },
  "tags": {
    "index": "nginx-log-*"
  }
}

その他のすべてのバージョン：

PUT _qos/_ratelimit/<limiterName>
{
  "bulk.index_patterns": "nginx-log-*",
  "bulk.max_request_size_in_bytes" : 1000
}

複数のルールを同時に有効にできます。リクエストがいずれかのルールに一致した場合、そのリクエストはスロットルされます。

バルク書き込みサイズのスロットル時のエラー

1 つのバルクリクエストが設定されたサイズしきい値を超えると、システムはそのリクエストを拒否します。

Elasticsearch V7.10 の場合（HTTP 400）：

{
  "error" : {
    "root_cause" : [
      {
        "type" : "status_exception",
        "reason" : "write_size blocked, limited by [<limiterName>][write.max_size_per_request](<limiterId>) threshold:[x] try acquire [x]"
      }
    ],
    "type" : "status_exception",
    "reason" : "write_size blocked, limited by [<limiterName>][write.max_size_per_request](<limiterId>) threshold:[x] try acquire [x]"
  },
  "status" : 400
}

その他のすべてのバージョンの場合（HTTP 413）：

{
  "error": {
    "root_cause": [
      {
        "type": "rate_limited_exception",
        "reason": "request indices:data/write/bulk rejected, limited by [b2:ByteSizePreSeconds:992.0]"
      }
    ],
    "type": "rate_limited_exception",
    "reason": "request indices:data/write/bulk rejected, limited by [b2:ByteSizePreSeconds:992.0]"
  },
  "status": 413
}

このエラーを解決するには、各バルクリクエストのバイト数を減らしてください。

シャード単位の同時クエリのスロットル

プライマリまたはレプリカシャードの数をクエリするために使用される同時スレッド数を制限し、クラスターの負荷を軽減します。タグ値には、インデックス名の完全一致およびワイルドカードパターンの両方がサポートされます。Elasticsearch V7.10 の場合、index タグキーを使用します。その他のすべてのバージョンでは、index_patterns タグキーを使用します。

Elasticsearch V7.10：

PUT /_qos/limiter/<limiterName>
{
  "limiters": {
    "search_shards.concurrent_count": "10"
  },
  "tags": {
    "index": "nginx-log-*"
  }
}

この構成は、その他の Elasticsearch バージョンではサポートされていません。

1 つのリミッターで複数のスロットルルールを構成

1 つのリクエストで、1 つのリミッターに複数のスロットルルールを適用できます。

Elasticsearch V7.10：

PUT /_qos/limiter/<limiterName>
{
  "limiters": {
    "search.qps": "1000",
    "write.tps": "100000",
    "write.throughput": "1000000",
    "write.max_size_per_request": "1000",
    "search_shards.concurrent_count": "10"
  },
  "tags": {
    "index": "nginx-log-*"
  }
}

複数のルールを同時に有効にできます。リクエストがいずれかのルールに一致した場合、そのリクエストはスロットルされます。