PolarDB:パラレルDDL

前提条件

• 物理的に実行されるDDLステートメントのDOPを制御する場合、PolarDB-XインスタンスのカーネルバージョンはV5.4.15-16715927またはそれ以降です。

• 論理的に実行されたDDLステートメントのDOPを制御する場合、PolarDB-XインスタンスのカーネルバージョンはV5.4.16-16825599またはそれ以降です。

使用状況ノート

このトピックで説明するパラメーターを使用してDDLステートメントのリソース使用量を増やすと、ビジネストラフィックが影響を受ける可能性があります。 DOPを調整する前に、ビジネス要件に基づいてDOP調整が必要であり、クラスターリソース仕様が要件を満たしていることを確認してください。

概要

PolarDB-XのDDLステートメントは、物理的または論理的に実行できます。 上記の2つの実行モードの特性と、さまざまな種類のDDLステートメントの実行モードの詳細については、「Online DDL」をご参照ください。 さまざまなモードで実行されるDDLステートメントの場合、PolarDB-Xには、DDLステートメントによって占有されるリソースとデータ処理のスループットを制御するために使用できるさまざまなパラメーターが用意されています。

• 物理的に実行されるDDL文の場合、計算ノード (CN) は、物理テーブル上で実行される物理DDL文を転送する。 主なリソースのオーバーヘッドは、データノード (DN) にあります。 PolarDB-Xは、物理DDLステートメントを転送するDOPに関連する制御パラメータを提供します。

• 論理的に実行されたDDLステートメントの場合、CNは、プロセス全体で、データバックフィル、マルチ書き込み、検証、およびメタデータ管理を含むすべてのロジックを処理します。 データのバックフィルは、ほとんどのリソースと時間を占めます。 PolarDB-Xは、論理実行中のデータバックフィルDOPに関連する制御パラメータを提供します。

物理的に実行されるDDLステートメントのDOPコントロール

物理的に実行されるDDL文の場合、次の表に示すパラメーターを使用して、物理DDL文を転送するDOPを制御できます。

^① デフォルトでは、単一の物理DDLステートメントは単一のCPUコアで高い使用率を実現できます。 したがって、PREFETCH_SHARDSパラメーターの値がすべてのDNのCPUコア数を超えている場合、値を増やしても効果は大きくありません。

たとえば、インスタンスに2つのCNと2つのDNがあり、それぞれ16のCPUコアと64 GBのメモリがあり、Transaction Processing Performance CouncilベンチマークC (TPC-C) 10000ウェアハウスのbmsql_order_lineテーブルにローカルインデックスを追加する場合。 インスタンスに十分なリソースがある場合、次の方法でパラメーターを設定できます。

/* + TDDL:cmd_extra(MERGE_DDL_CONCURRENT=true,MERGE_CONCURRENT=true,PREFETCH_SHARDS=32)* /
ALTER TABLE 'bmsql_order_line 'ADD LOCAL INDEX 'i_ol_d_id'('ol_d_id '); 

show physical processlist where info like "% i_ol_d_id %; コマンドを実行して、DNでの物理DDLステートメントの同時実行を表示できます。

論理的に実行されたDDLステートメントのDOP制御

論理的に実行されたDDLステートメントの場合、次の表に示すパラメーターを使用して、データバックフィルとリソース制限のDOPを制御できます。 show ddl statusコマンドを実行して、論理実行の進行状況を表示することもできます。

次の表に、GSIの追加、テーブルの再分割、およびOMCの実行のために実行されるDDLステートメントのDOP制御パラメーターを示します。

次の表に、パーティションとスケールテーブルを移動するために実行されるDDLステートメントのDOP制御パラメーターを示します。

たとえば、インスタンスに2つのCNと2つのDNがあり、それぞれに16のCPUコアと64 GBのメモリがあり、TPC-C 10000ウェアハウスのbmsql_order_lineテーブルにグローバルインデックスを追加する場合。 デフォルトのパラメーター設定が使用されている場合、次のステートメントが実行されます。

/* + TDDL:cmd_extra(PURE_ASYNC_DDL_MODE=true)* /
ALTER TABLE 'bmsql_order_line 'ADD GLOBAL INDEX 'g_i_ol_d_id'('ol_d_id ') partition by hash('ol_d_id') partition 32; 

show ddl statusコマンドを実行して、DDLステートメントの実行ステータスを表示できます。

ショーのddlの状態;
+ ---------------------------------- + ----------
| メトリック | 値 |
+ ---------------------------------- + ----------
| BACKFILL_PARALLELISM | 32 |
| BACKFILL_ROWS_FINISHED | 288679866 |
| BACKFILL_ROWS_SPEED | 150186 |
| BACKFILL_TASK_FAILED | 0 |
| BACKFILL_TASK_FINISHED | 1 |
| BACKFILL_TASK_TOTAL | 0 |
| BACKFILL_TIME_MILLIS | 3450 |
| CHANGESET_APPLY_PARALLELISM | 0 |
| CHANGESET_APPLY_ROWS_SPEED | 0 |
| CHECKER_ROWS_FINISHED | 0 |
| CHECKER_TIME_MILLIS | 0 |
| 696412 | |
| DDL_JOBS_FINISHED | 5 |
| DDL_JOBS_TOTAL | 6 |
| DDL_TASK_FAILED | 4 |
| DDL_TASK_FINISHED | 107 |
| DDL_TASK_TOTAL | 63 |
| FASTCHECKER_TASK_RUNNING | 0 |
| FASTCHECKER_TASK_WAITING | 0 |
| FASTCHECKER_THREAD_POOL_MAX_SIZE | 1 |
| FASTCHECKER_THREAD_POOL_NOW_SIZE | 0 |
| FASTCHECKER_THREAD_POOL_NUM | 2 |
| THROTTLE_RATE | 150000 |
+ ---------------------------------- + ---------- 

あなたが注意を払う必要があるパラメータ:

• BACKFILL_PARALLESIM: アクティブなバックフィルスレッドの総数。

• BACKFILL_ROWS_SPEED: 行ごとの現在の埋め戻しレート。

• THROTTLE_RATE: レート制限。

この場合、DDLバックフィルレートはTHROTTLE_RATEパラメーターで指定された値の影響を受け、約150,000行 /秒に制限されます。 最大DOPを使用してスロットリングをキャンセルする場合は、次の方法で論理実行用のDDLステートメントを送信できます。

/* + TDDL:cmd_extra(SLIDE_WINDOW_TIME_INTERVAL=0,PURE_ASYNC_DDL_MODE=true,PHYSICAL_TABLE_BACKFILL_PARALLELISM=8,GSI_BACKFILL_PARALLELISM=32,GSI_BACKFILL_SPEED_LIMITATION=-1)* /
ALTER TABLE bmsql_order_line ADDグローバルインデックスg_i_ol_d_id('ol_d_id ') partition by hash('ol_d_id') partition 32; 

show ddl statusコマンドを実行して、DDLステートメントの実行ステータスを表示できます。

ショーのddlの状態;
+ ---------------------------------- + ---------
| メトリック | 値 |
+ ---------------------------------- + ---------
| BACKFILL_PARALLELISM | 32 |
| BACKFILL_ROWS_FINISHED | 37272038 |
| BACKFILL_ROWS_SPEED | 867669 |
| BACKFILL_TASK_FAILED | 0 |
| BACKFILL_TASK_FINISHED | 1 |
| BACKFILL_TASK_TOTAL | 0 |
| BACKFILL_TIME_MILLIS | 3450 |
| CHANGESET_APPLY_PARALLELISM | 0 |
| CHANGESET_APPLY_ROWS_SPEED | 0 |
| CHECKER_ROWS_FINISHED | 0 |
| CHECKER_TIME_MILLIS | 0 |
| 112397 | |
| DDL_JOBS_FINISHED | 3 |
| DDL_JOBS_TOTAL | 4 |
| DDL_TASK_FAILED | 2 |
| DDL_TASK_FINISHED | 75 |
| DDL_TASK_TOTAL | 42 |
| FASTCHECKER_TASK_RUNNING | 0 |
| FASTCHECKER_TASK_WAITING | 0 |
| FASTCHECKER_THREAD_POOL_MAX_SIZE | 1 |
| FASTCHECKER_THREAD_POOL_NOW_SIZE | 0 |
| FASTCHECKER_THREAD_POOL_NUM | 2 |
| THROTTLE_RATE | -1 |
+ ---------------------------------- + ---------
セットの23行 (0.02秒)

この場合、DDLバックフィル率は制限されない。 32スレッドすべてが実行されている場合、バックフィル率は860,000行 /秒に達します。

パフォーマンステスト

• テスト用のPolarDB-Xインスタンスの仕様: 2つのCNと2つのDN。それぞれが16のCPUコアと64 GBのメモリを備えています。

• テーブルスキーマ: TPC-CからAUTOモードのデータベースのbmsql_order_lineテーブル。

  CREATE TABLE 'bmsql_order_line '(
          'ol_w_id 'int(11) NOT NULL、
          'ol_d_id 'tinyint (4) NOT NULL,
          'ol_o_id 'int(11) NOT NULL、
          'ol_number' tinyint (4) NOT NULL,
          'ol_i_id 'int(11) NOT NULL、
          'ol_delivery_d 'タイムスタンプNOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP、
          'ol_amount decimal (6,2) DEFAULT NULL、
          'ol_supply_w_id 'int(11) DEFAULT NULL、
          'ol_quantity' int(11) DEFAULT NULL、
          'ol_dist_info 'char (24) COLLATE latin1_bin DEFAULT NULL、
          PRIMARYキー ('ol_w_id ', 'ol_d_id', 'ol_o_id ', 'ol_number')
  ) エンジン=InnoDB DEFAULT CHARSET = latin1 DEFAULT COLLATE = latin1_bin
  PARTITION BY KEY('ol_w_id ')
  パーティー32 

• テストデータ: Benchmark Bootを使用して、TPC-C 10000ウェアハウスのデータをインポートできます。 合計で約30億行のデータが使用され、そのサイズは230 GBです。

テスト1: ローカルインデックスの追加

DOPパラメーターを設定し、次のステートメントを実行します。 show ddl statusコマンドを実行して、DDLステートメントの実行ステータスを表示します。

/* + TDDL:cmd_extra(PURE_ASYNC_DDL_MODE=true,ENABLE_TWO_PHASE_DDL=false,ENBALE_DRDS_MULTI_PHASE_DDL=false,MERGE_DDL_CONCURRENT=true,MERGE_CONCURRENT=true,PREFETCH_SHARDS=xxx)* /

ALTER TABLE 'bmsql_order_line 'ADD LOCAL INDEX i_ol_o_id(ol_o_id); 

次の表に、パラメーター設定ごとの実行時間とリソース使用量を示します。

テスト2: グローバルインデックスの追加

DOPパラメーターを設定し、次のステートメントを実行します。 show ddl statusコマンドを実行して、DDLステートメントの実行ステータスを表示します。

/* + TDDL:cmd_extra(PURE_ASYNC_DDL_MODE=true、SLIDE_WINDOW_TIME_INTERVAL=0、PHYSICAL_TABLE_BACKFILL_PARALLELISM=xxx、GSI_BACKFILL_SPEED_LIMITATION=xxx)*