:TTL テーブルの期限切れデータのクリーンアップ

使用方法

• スケジュールされた開始

  例:

  ALTER TABLE `my_ttl_tbl` MODIFY TTL SET TTL_ENABLE = 'ON';

  説明

  my_ttl_tbl TTL テーブルのスケジュールされたクリーンアップジョブが有効になります。 デフォルトでは、クリーンアップジョブは無効になっています。

  ALTER TABLE `my_ttl_tbl` MODIFY TTL SET TTL_JOB = CRON '0 0 2 */1 * ?  *' TIMEZONE '+08:00';

  説明

  • my_ttl_tbl TTL テーブルのクリーンアップジョブが実行されるスケジュールが変更されます。

  • TTL_JOB 属性で指定されたスケジュールは、想定される時刻値です。 クリーンアップジョブの実際の実行時間は、前のジョブが完了しているかどうかによって異なります。 複数の TTL テーブルのクリーンアップジョブが実行中でキューに入れられている場合、クリーンアップジョブは、実行中およびキューに入れられているクリーンアップジョブが完了するまで待機する必要があります。

• 手動開始

  例:

  /*+TDDL:cmd_extra(ENABLE_ASYNC_DDL=true, PURE_ASYNC_DDL_MODE=true)*/
  ALTER TABLE `my_ttl_tbl` CLEANUP EXPIRED DATA;

  説明

  • /*+TDDL:cmd_extra(ENABLE_ASYNC_DDL=true, PURE_ASYNC_DDL_MODE=true)*/ は、DDL 文をバックグラウンドで非同期的に実行するように設定するために使用されます。 現在のセッションで結果が返されるのを待つ必要はありません。

  • ALTER TABLE CLEANUP EXPIRED DATA 文は、TTL テーブルに対してのみサポートされています。

TTL テーブルの定義のクエリ

INFORMATION_SCHEMA.TTL_INFO ビューから、現在のデータベース内のすべての TTL テーブルのクリーンアップジョブの定義と有効化ステータスをクエリするには、次の文を実行します。

SELECT  * 
FROM INFORMATION_SCHEMA.TTL_INFO 
WHERE TABLE_SCHEMA='ttldb' AND TABLE_NAME = 'my_ttl_tbl';

*************************** 1. row ***************************
               TABLE_SCHEMA: ttldb
                 TABLE_NAME: my_ttl_tbl
                 TTL_ENABLE: OFF
                    TTL_COL: date_field
                   TTL_EXPR: `date_field` EXPIRE AFTER 2 MONTH TIMEZONE '+08:00'
                   TTL_CRON: 0 0 1 * * ?  *
               ARCHIVE_TYPE: 
       ARCHIVE_TABLE_SCHEMA: NULL
         ARCHIVE_TABLE_NAME: NULL
 ARCHIVE_TABLE_PRE_ALLOCATE: 12
ARCHIVE_TABLE_POST_ALLOCATE: 64
1 row in set (0.07 sec)

次の表に、フィールドを示します。

TTL テーブルのクリーンアップジョブに関する情報のクエリ

INFORMATION_SCHEMA.TTL_SCHEDULE ビューから、実行中の TTL テーブルのクリーンアップジョブに関するリアルタイム情報をクエリできます。

次の文を実行して、実行中の my_ttl_tbl TTL テーブルのクリーンアップジョブに関する情報をクエリします。

// クリーンアップジョブを手動で開始します。
ALTER TABLE `my_ttl_tbl` CLEANUP EXPIRED DATA;  
SELECT  * 
FROM INFORMATION_SCHEMA.TTL_SCHEDULE 
WHERE TABLE_SCHEMA='ttldb' AND TABLE_NAME = 'my_ttl_tbl';

+--------------+------------+--------------------------------------+---------------------+
| TABLE_SCHEMA | TABLE_NAME | METRIC_KEY                           | METRIC_VAL          |
+--------------+------------+--------------------------------------+---------------------+
| ttldb        | my_ttl_tbl | SCHEDULE_STATUS                      | DISABLED            |
| ttldb        | my_ttl_tbl | SCHEDULE_EXPR                        | 0 0 1 * * ?  *       |
| ttldb        | my_ttl_tbl | SCHEDULE_COMMENT                     | at 01:00            |
| ttldb        | my_ttl_tbl | SCHEDULE_TIMEZONE                    | +08:00              |
| ttldb        | my_ttl_tbl | SCHEDULE_LAST_FIRE_TIME              | 1970-01-01 08:00:00 |
| ttldb        | my_ttl_tbl | SCHEDULE_NEXT_FIRE_TIME              | 1970-01-01 08:00:00 |
| ttldb        | my_ttl_tbl | TTL_CURR_TTL_COL_MIN_VAL             | null                |
| ttldb        | my_ttl_tbl | TTL_CURR_CLEANUP_BOUND               | 2024-05-01 00:00:00 |
| ttldb        | my_ttl_tbl | TTL_CURR_CLEANUP_UPPER_BOUND         | 2024-05-01 00:00:00 |
| ttldb        | my_ttl_tbl | TTL_CURR_NEW_DATETIME_VAL            | 2024-07-18 18:22:54 |
| ttldb        | my_ttl_tbl | TTL_CURR_JOB_STAGE                   | Finished            |
| ttldb        | my_ttl_tbl | TTL_CURR_JOB_BEGIN_TS                | 1721298173321       |
| ttldb        | my_ttl_tbl | TTL_CURR_JOB_END_TS                  | 0                   |
| ttldb        | my_ttl_tbl | TTL_CURR_JOB_FROM_SCHEDULER          | false               |
| ttldb        | my_ttl_tbl | TTL_CURR_JOB_STOP_BY_MAINTAIN_WINDOW | false               |
| ttldb        | my_ttl_tbl | TTL_CURR_DN_ROWS_SPEED_LIMIT         | 0                   |
| ttldb        | my_ttl_tbl | TTL_CURR_CLEANED_PHY_PART_COUNT      | 8                   |
| ttldb        | my_ttl_tbl | TTL_CURR_TOTAL_PHY_PART_COUNT        | 8                   |
| ttldb        | my_ttl_tbl | TTL_CURR_JOB_PERCENT                 | 100                 |
| ttldb        | my_ttl_tbl | TTL_ACQUIRE_PERMITS_AVG_RT_NANO      | 0                   |
| ttldb        | my_ttl_tbl | TTL_CURR_CLEANUP_TIMECOST            | 6044                |
| ttldb        | my_ttl_tbl | TTL_CURR_CLEANUP_ROWS                | 0                   |
| ttldb        | my_ttl_tbl | TTL_CURR_CLEANUP_ROWS_SPEED          | 0                   |
| ttldb        | my_ttl_tbl | TTL_CURR_CLEANUP_DATA_LENGTH         | 0                   |
| ttldb        | my_ttl_tbl | TTL_CURR_CLEANUP_SPEED               | 0                   |
| ttldb        | my_ttl_tbl | TTL_CURR_SELECT_SQL_AVG_RT           | 844                 |
| ttldb        | my_ttl_tbl | TTL_CURR_DELETE_SQL_AVG_RT           | 2857                |
| ttldb        | my_ttl_tbl | TTL_CURR_OPTIMIZE_SQL_AVG_RT         | 0                   |
| ttldb        | my_ttl_tbl | TTL_CURR_ADD_PART_AVG_RT             | 0                   |
| ttldb        | my_ttl_tbl | TTL_CURR_DATA_FREE_PERCENT_LIMIT     | -1                  |
| ttldb        | my_ttl_tbl | TTL_CURR_TTL_TBL_DATA_FREE_PERCENT   | 0.00                |
| ttldb        | my_ttl_tbl | TTL_CURR_OPTIMIZE_TTL_TBL_PROGRESS   | 0                   |
| ttldb        | my_ttl_tbl | TTL_LAST_JOB_FROM_SCHEDULER          | false               |
| ttldb        | my_ttl_tbl | TTL_LAST_TTL_COL_MIN_VAL             |                     |
| ttldb        | my_ttl_tbl | TTL_LAST_CLEANUP_BOUND               |                     |
| ttldb        | my_ttl_tbl | TTL_LAST_CLEANUP_UPPER_BOUND         |                     |
| ttldb        | my_ttl_tbl | TTL_LAST_JOB_BEGIN_TS                | 0                   |
| ttldb        | my_ttl_tbl | TTL_LAST_JOB_END_TS                  | 0                   |
| ttldb        | my_ttl_tbl | TTL_LAST_SELECT_SQL_AVG_RT           | 0                   |
| ttldb        | my_ttl_tbl | TTL_LAST_DELETE_SQL_AVG_RT           | 0                   |
| ttldb        | my_ttl_tbl | TTL_LAST_OPTIMIZE_SQL_AVG_RT         | 0                   |
| ttldb        | my_ttl_tbl | TTL_LAST_ADD_PARTS_SQL_AVG_RT        | 0                   |
| ttldb        | my_ttl_tbl | TTL_LAST_CLEANUP_TIMECOST            | 0                   |
| ttldb        | my_ttl_tbl | TTL_LAST_CLEANUP_ROWS                | 0                   |
| ttldb        | my_ttl_tbl | TTL_LAST_CLEANUP_ROWS_SPEED          | 0                   |
| ttldb        | my_ttl_tbl | TTL_LAST_CLEANUP_DATA_LENGTH         | 0                   |
| ttldb        | my_ttl_tbl | TTL_LAST_CLEANUP_SPEED               | 0                   |
| ttldb        | my_ttl_tbl | TTL_LAST_TTL_TBL_DATA_FREE_PERCENT   | 0                   |
+--------------+------------+--------------------------------------+---------------------+
48 rows in set (0.03 sec)

次の表に、特定のフィールドを示します。

メンテナンスウィンドウの変更

PolarDB-X 2.0 のバックグラウンドクリーンアップジョブのデフォルトのメンテナンスウィンドウは、毎日 02:00 から 05:00 です。 次の文を実行して、メンテナンスウィンドウを毎日 01:00 から 06:00 に変更できます。

set global MAINTENANCE_TIME_START = '01:00';
set global MAINTENANCE_TIME_END = '06:00';

クリーンアップ速度制限の変更

デフォルトでは、単一のストレージノードのクリーンアップ速度制限は 1 秒あたり 1,000 行です。 ノード上のすべてのクリーンアップジョブの合計クリーンアップ速度は、制限を超えません。 インスタンス内のストレージノードの数を増やすと、合計クリーンアップ速度が増加します。

次の文を実行して、単一のストレージノードのクリーンアップ速度制限を 1 秒あたり 10,000 行に変更できます。

set global TTL_ENABLE_CLEANUP_ROWS_SPEED_LIMIT=10000

クリーンアップ時間範囲の変更

デフォルトでは、TTL テーブルのクリーンアップジョブによってクリーンアップされるデータの時間範囲は、主に TTL_CLEANUP_BOUND_INTERVAL_COUNT パラメーターによって制御されます。

次の文を実行して、クリーンアップされるデータの時間範囲を変更できます。

set global TTL_CLEANUP_BOUND_INTERVAL_COUNT = 6;

クリーンアップジョブの一時停止

1. 次の SHOW FULL DDL 文を実行して、すべてのクリーンアップジョブの ジョブ ID をクエリします。

   show full ddl\G;

   *************************** 1. row ***************************
                      JOB_ID: 1771694362409848832
               OBJECT_SCHEMA: ttldb
                 OBJECT_NAME: my_ttl_tbl
                      ENGINE: DAG
                    DDL_TYPE: ALTER_TABLE
                       STATE: RUNNING
     TOTAL_BACKFILL_PROGRESS: --
    CURRENT_PHY_DDL_PROGRESS: 0%
                    PROGRESS: 33%
        FASTCHECKER_TASK_NUM: 0
   FASTCHECKER_TASK_FINISHED: 0
                  START_TIME: 2024-09-14 15:55:12.991
                    END_TIME: 2024-09-14 15:55:16.959
            ELAPSED_TIME(MS): 3968
                 PHY_PROCESS:
                  CANCELABLE: true
               PARENT_JOB_ID: --
               RESPONSE_NODE: 10.57.104.154:3067
              EXECUTION_NODE: 10.57.104.154:3067
                    TRACE_ID: 189652a2bc805000
                    DDL_STMT: alter table my_ttl_tbl cleanup expired data
                      REMARK: --
          LEGACY_ENGINE_INFO: --
   1 row in set (0.01 sec)

2. 手順 1 の結果から、管理する TTL テーブルの ジョブ ID を取得します。 取得したジョブ ID を使用して次の文を実行し、TTL テーブルのクリーンアップジョブを一時停止します。

   pause ddl 1771694362409848832;

クリーンアップジョブの再開

一時停止されたクリーンアップジョブを再開するには、次の文を実行します。

CONTINUE DDL 1771694362409848832;