PolarDB:SQL スロットリング

概要

SQL スロットリング機能を使用すると、エンドポイントに基づいてスロットリングルールを設定できます。SQL テンプレートを使用して現在のエンドポイントで実行される SQL 文を照合し、その最大同時実行数または 1 秒あたりのクエリ数 (QPS) を制限します。この機能は、次のシナリオで使用できます。

• PolarDB クラスターに低速な SQL 文があり、データベースの負荷が高くなり、通常のビジネス運用に影響を与えています。

• 特定タイプの高リスク SQL 文で利用可能なリソースを制限するか、その実行を完全に拒否したい場合。

手順

1. PolarDB コンソールにログインします。左側のナビゲーションウィンドウで、[クラスターリスト] をクリックします。クラスターが配置されているリージョンを選択します。対象クラスターの ID をクリックして、クラスター詳細ページを開きます。

2. 左側のナビゲーションウィンドウで、[設定と管理] > [セキュリティ管理] を選択します。

3. [SQL スロットリング] タブで、[追加] をクリックして SQL スロットリングルールを作成します。

   

4. [SQL スロットリングルールの作成] ダイアログボックスで、次のパラメーターを設定し、[OK] をクリックします。

   セクション	パラメーター	説明
   基本情報	ルール名	スロットリングルールの名前。次の要件を満たす必要があります。 最大 30 文字までです。 大文字、小文字、数字で構成する必要があります。
   	ルールの説明	オプション。スロットリングルールの説明。これは将来の管理に役立ちます。説明は最大 64 文字までです。
   	エンドポイント ID	スロットリングルールを適用するエンドポイントを選択します。 説明 現在、スロットリングルールは、アクティブなリクエストに基づく負荷分散を使用するクラスターエンドポイントおよびカスタムエンドポイントでのみ設定できます。これらのエンドポイントは、読み取り/書き込みまたは読み取り専用にすることができます。プライマリエンドポイントおよび接続に基づく負荷分散を使用する読み取り専用エンドポイントは、SQL スロットリングをサポートしていません。 異なるエンドポイントで設定されたスロットリングルールは、互いに影響しません。同じエンドポイントで設定されたスロットリングルールは、そのエンドポイントを使用するビジネス接続にのみ適用されます。
   ルール設定	ルールタイプ	スロットリングルールモードを選択します。有効な値は [アクティブな同時実行ステートメントのスロットリング] と [接続ごとの QPS のスロットリング] です。 説明 接続ごとの QPS のスロットリングは、単一接続の 1 秒あたりのリクエスト数を制限します。このモードは、ビジネス側が接続プールを持っているか、持続的接続を使用するシナリオで使用できます。短命な接続のシナリオでは、アクティブな同時実行ステートメントのスロットリングを使用することをお勧めします。
   	現在のモード	SQL テンプレートの照合モードを選択します。有効な値は [テンプレート一致] と [全文一致] です。2 つの照合モードの違いの詳細については、「テンプレート照合と全文照合」をご参照ください。
   	データベースアカウント名	スロットリングルールを適用するデータベースアカウントを指定します。最大 10 個のアカウントを指定できます。複数のアカウント名はカンマ (,) で区切ります。このパラメーターを空のままにすると、ルールはデフォルトですべてのアカウントに適用されます。
   	データベース名	スロットリングルールを適用するデータベースを指定します。最大 10 個のデータベースを指定できます。複数のデータベース名はカンマ (,) で区切ります。このパラメーターを空のままにすると、ルールはデフォルトですべてのデータベースに適用されます。
   	SQL テンプレート	SQL テンプレートを設定します。詳細については、「SQL テンプレートと照合モード」をご参照ください。
   	最大待機キュー長	待機キューの最大長を設定します。値は 0 から 1024 の範囲である必要があります。一致する SQL 文の同時実行数または QPS がルールの上限に達すると、その文は再試行のために遅延キューに入ります。遅延キュー内の SQL 文の数が最大長を超えると、新しいリクエストは直接エラーを返します。適切な最大待機キュー長を設定することで、多くの SQL 文がスロットリングされたときに遅延キューが無限に増大するのを防ぐことができます。これにより、データベースプロキシでのメモリ不足 (OOM) エラーを回避できます。
   	最大アクティブ同時実行ステートメント数	アクティブな同時実行ステートメントの最大数を設定します。 説明 このパラメーターは、[ルールタイプ] パラメーターが アクティブな同時実行ステートメントのスロットリング に設定されている場合にのみ必要です。
   	接続ごとの最大 QPS	各接続の最大 QPS を設定します。 説明 このパラメーターは、[ルールタイプ] パラメーターが 接続ごとの QPS のスロットリング に設定されている場合にのみ必要です。

仕組み

SQL スロットリングは、データベースプロキシに実装された機能です。データベースプロキシでスロットリングルールを設定して、特定の転送 SQL 文の同時実行数または QPS を制御します。これは、データベースクラスターの読み取り/書き込みノードまたは読み取り専用ノードには影響しません。したがって、この機能はクラスターエンドポイントまたはカスタムエンドポイントに対してのみ設定できます。

SQL テンプレートと照合モード

テンプレート照合と全文照合

SQL テンプレートは、PolarDB for PostgreSQL または クラスターの標準構文に従う任意の SQL 文にすることができます。SQL テンプレートを設定すると、データベースプロキシは選択した照合モードに基づいてそれを前処理します。

• 次の SQL テンプレートでスロットリングルールを設定するとします。

  SELECT * FROM tbl WHERE id < 1;

  • テンプレート照合を選択した場合、SQL テンプレートは正規化されます。余分なスペースやコメントは削除されます。単一引用符で囲まれた文字列や数値など、SQL 文の定数部分はワイルドカード文字に置き換えられます。結果は次のようになります。

    -- テンプレート結果
    SELECT * FROM tbl WHERE id < ?

  • 全文照合を選択した場合、SQL テンプレートも正規化されます。ただし、定数部分は置き換えられません。結果は次のようになります。

    -- フォーマットされた結果のみ
    SELECT * FROM tbl WHERE id < 1

  その後、データベースプロキシは、後続の照合のために、フォーマットされた SQL 文の一意の識別子を生成します。

• スロットリングルールが有効になると、データベースプロキシは、SQL テンプレートと同様の方法で、すべてのビジネス SQL 文も前処理します。次のビジネス SQL 文を例にとります。

  SELECT * FROM tbl WHERE id < 100;

  2 つのフォーマットされた SQL 文も生成され、一意の識別子が計算され、スロットリングルールとの照合が試みられます。

  -- テンプレート結果
  SELECT * FROM tbl WHERE id < ?
  
  -- フォーマットされた結果のみ
  SELECT * FROM tbl WHERE id < 100

SQL スロットリングルールを有効にすると、データベースプロキシは現在の SQL 文を転送する前に、現在設定されているスロットリングルールを走査します。スロットリングルールがテンプレート照合用に設定されている場合、テンプレート化された結果がルールの SQL テンプレートとの照合に使用されます。スロットリングルールが全文照合用に設定されている場合、フォーマットされた結果がルールの SQL テンプレートとの照合に使用されます。一致がヒットすると、同時実行数または QPS が記録され、対応するスロットリング操作が実行されます。

したがって、前の例のビジネス SQL 文と SQL テンプレートでは、テンプレート照合が設定されている場合にのみルールがヒットします。

パラメーター化のサポート

SQL テンプレートは、PostgreSQL の標準的なパラメーターバインディング構文と一致するパラメーター化構文を許可します。

SELECT * FROM tbl WHERE id < $1 AND name = $2 LIMIT 1;

パラメーター化された部分は、テンプレート照合と全文照合の両方でワイルドカード文字としてフォーマットされます。

-- テンプレート結果
SELECT * FROM tbl WHERE id < ? AND name = ? limit ?

-- フォーマットされた結果のみ
SELECT * FROM tbl WHERE id < ? AND name = ? limit 1

したがって、次のビジネス SQL 文の場合:

SELECT * FROM tbl WHERE id < $1 AND name = 2 LIMIT 100;

現在のモードがテンプレート照合に設定されている場合、前のルールがヒットする可能性があります。現在のモードが全文照合に設定されている場合、前のルールはヒットしません。

-- これは無効な SQL テンプレートです。標準の PostgreSQL 構文に従っておらず、どの SQL 文とも一致しません。
SELECT ?, ?, ?;

-- これは有効な SQL テンプレートです。
SELECT $1, $2, $3;

プリペアドステートメント

ビジネスでプリペアドステートメントを使用する場合、PREPARE 文自体はスロットリングをトリガーしません。EXECUTE 文のみがスロットリングをトリガーします。EXECUTE 文の場合、対応する PREPARE 文の SQL 部分がフォーマットまたはテンプレート化されて、ルールに一致します。

例

次の SQL テンプレートを使用してスロットリングルールを設定します。照合モードとしてテンプレート照合を選択します。

SELECT * FROM tbl WHERE id < $1 AND name > $2;

次のビジネス SQL 文の場合:

-- PREPARE 文はスロットリングをトリガーしません。
PREPARE s1 AS SELECT * FROM tbl WHERE id < $1 AND name > 100;

-- EXECUTE 文は、対応する PREPARE 文の SQL 部分を使用してスロットリングルールに一致させます。
EXECUTE s1;

EXECUTE s1;

EXECUTE s1;

3 つの EXECUTE 文はスロットリングルールにヒットし、スロットリングされます。

同様に、スロットリングルールの SQL テンプレートで PREPARE 文を使用する場合、PREPARE 文内の SQL 部分のみがスロットリングのためにフォーマットまたはテンプレート化されます。したがって、ルールを作成する際、次の 2 つの SQL テンプレートは同等です。

-- テンプレート 1
PREPARE s1 AS SELECT * FROM tbl WHERE id < $1 AND name > $2;

-- テンプレート 2
SELECT * FROM tbl WHERE id < $1 AND name > $2;

拡張プロトコルのサポート

プリペアドステートメントと同様に、ビジネスドライバーが拡張プロトコルを使用する場合、Execute メッセージのみがスロットリングをトリガーします。各 Execute メッセージに対して、データベースプロキシは対応する Parse メッセージを見つけ、SQL テンプレートを計算してスロットリングルールに一致させます。したがって、SQL スロットリングは拡張プロトコルをサポートします。ビジネスが使用するプロトコルについて心配する必要はありません。

制限事項

SQL スロットリング機能には次の制限があります。

• 複数文 SQL はスロットリングでサポートされていません。複数文 SQL を使用すると、設定されたスロットリングルールはトリガーされません。

  複数文 SQL とは、セミコロンで区切られた複数の SQL 文を含む単一の SQL テキストを指します。以下は、Java Database Connectivity (JDBC) ドライバーを使用した複数文実行の例です。

  Statement statement = connection.createStatement();
  
  statement.execute("select 1; select 2; select 3");

  複数文の実行は、同時に複数のスロットリングルールにヒットする可能性があります。予期しない結果を避けるため、スロットリングはサポートされていません。

• トランザクション制御文やストアドプロシージャなどの一部の特殊な文は、スロットリングでサポートされていません。COMMIT などのトランザクション制御文をスロットリングすると、トランザクションが正常に終了しなくなる可能性があります。したがって、これらの文はスロットリングルールにヒットしません。

• クライアントまたはドライバーがステートメントバッチモードを使用する場合、バッチ処理された SQL 文に対してヒットした最初のスロットリングルールのみがトリガーされます。以下は、JDBC ドライバーを使用したバッチ実行の例です。

  Statement statement = connection.createStatement();
  
  statement.addBatch("select 1");
  statement.addBatch("select 2");
  statement.addBatch("select 3");
  
  int[] result = statement.executeBatch();
  statement.close();
  connection.close();

  複数文の実行と同様に、ステートメントバッチを使用する場合、ドライバーは通常、複数の SQL 文の拡張プロトコルメッセージを組み合わせて一度に送信します。これにより、複数のスロットリングルールが同時にヒットする状況が発生する可能性もあります。この場合、ヒットした最初のスロットリングルールのみが有効になります。バッチ実行の例では、次の 3 つの SQL テンプレートのスロットリングルールがエンドポイントで同時に設定されている場合:

  -- テンプレート 1
  SELECT 1;
  
  -- テンプレート 2
  SELECT 2;
  
  --テンプレート 3
  SELECT 3;

  テンプレート 1 のみがヒットします。

• SQL テンプレートでは、大文字と小文字を区別しないキーワードはサポートされていません。スロットリングしたい SQL テキストの大文字と小文字に一致するように SQL テンプレートを設定する必要があります。

• SQL テンプレートは、要素の数を無視する `in` や `any` などの可変長式のテンプレート化をサポートしていません。例:

  -- SQL テンプレート
  SELECT * FROM tbl WHERE id IN ($1, $2, $3);
  
  -- SQL1、テンプレートにヒット可能
  SELECT * FROM tbl WHERE id IN (1, 6, 8);
  
  -- SQL2、テンプレートにヒット不可
  SELECT * FROM tbl WHERE id IN (1, 6, 8, 8);

• スロットリングルールが設定されていない場合、新しく追加されたルールは既存の接続には適用されません。コンソールにスロットリングルールが存在する場合、それが有効かどうかにかかわらず、後続の追加、変更、または削除操作はすべての接続にリアルタイムで適用されます。

  説明

  • ビジネスで持続的接続を使用し、新しいルールをいつでもすぐに有効にしたい場合は、対応するエンドポイントに任意のルールを設定し、それを無効にして保持することをお勧めします。これにより、後続のルールの追加や変更が、新規および既存の両方の接続に適用されるようになります。

  • データベースプロキシのバージョンが 2.3.58 以降の場合、スロットリングルールの追加、変更、または削除はすべての接続にリアルタイムで適用されます。コンソールで データベースプロキシのバージョンを表示できます。マイナーエンジンバージョンが要件を満たしていない場合は、データベースプロキシのバージョンをアップグレードできます。

スロットリング方法

現在、SQL スロットリングは SQL テンプレートと遅延キューを使用して、QPS またはアクティブな同時実行のスロットリングを実装します。ビジネス SQL 文は、対応するルールの QPS または同時実行数が記録される前に、スロットリングルールにヒットする必要があります。同時実行数または QPS がルールで設定された制限を超えると、データベースプロキシは SQL 文を遅延キューに配置します。一定期間後、プロキシはその文を再試行します。これにより、データベース側の同時実行数または QPS がルールの上限を超えないレベルに維持されます。

遅延キューの遅延時間は、ルールで設定された QPS または同時実行数に反比例します。ルールにヒットして遅延キューで待機できる SQL 文の最大数は、ルールで設定された最大待機キュー長によって制限されます。制限を超えると、プロキシは SQL 文を転送しません。代わりに、次のエラーをクライアントに返します。

SELECT 123;
Current query is being throttled and waiting queue is full.

さらに、設定された SQL スロットリングルールで最大アクティブ同時実行数または接続ごとの最大 QPS が 0 の場合、ルールにヒットした SQL 文は転送が拒否されます。上記のエラーが直接クライアントに返されます。この方法を使用して、あるクラスの SQL 文の実行を完全に拒否できます。

ベストプラクティス

SELECT * FROM generate_series(1, 100000);