PolarDB:CSV 形式でのパーティションテーブルのアーカイブ

DLM ポリシーの作成

次の例では、sales という名前のパーティションテーブルを作成します。このテーブルは order_time 列をパーティションキーとして使用し、時間間隔でパーティションを分割します。テーブルには INTERVAL と DLM の 2 つのポリシーがあります。

• INTERVAL ポリシー：挿入されたデータがパーティション範囲を超えると、1 年の時間間隔で新しいパーティションが自動的に作成されます。

• DLM ポリシー：テーブルには 3 つのパーティションのみを持つように定義されています。パーティション数が 3 を超え、DLM ポリシーが実行されると：

  • OSS 外部テーブル sales_history が存在しない場合、sales_history という名前の新しい OSS 外部テーブルが作成され、コールドデータが sales_history 外部テーブルに転送されます。

  • sales_history 外部テーブルが存在し、sales_history テーブルが組み込み OSS スペースにある場合、コールドデータは直接 sales_history 外部テーブルに転送されます。

1. DLM ポリシーを持つ sales テーブルを作成します。

   CREATE TABLE `sales` (
     `id` int DEFAULT NULL,
     `name` varchar(20) DEFAULT NULL,
     `order_time` datetime NOT NULL,
      PRIMARY KEY (`order_time`)
   ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4
   PARTITION BY RANGE  COLUMNS(order_time) INTERVAL(YEAR, 1)
   (PARTITION p20200101000000 VALUES LESS THAN ('2020-01-01 00:00:00') ENGINE = InnoDB,
    PARTITION p20210101000000 VALUES LESS THAN ('2021-01-01 00:00:00') ENGINE = InnoDB,
    PARTITION p20220101000000 VALUES LESS THAN ('2022-01-01 00:00:00') ENGINE = InnoDB)
   DLM ADD POLICY test_policy TIER TO TABLE ENGINE=CSV STORAGE=OSS READ ONLY
   STORAGE TABLE_NAME = 'sales_history' EXTRA_INFO '{"oss_file_filter":"id,name:bloom"}' ON (PARTITIONS OVER 3);

   このテーブルの DLM ポリシー名は test_policy です。パーティション数が 3 を超えると、現在のテーブルのコールドデータが CSV 形式で OSS に転送されます。アーカイブテーブル名は sales_history で、読み取り専用です。アーカイブ先の OSS テーブルが存在しない場合、OSS テーブルが自動的に作成され、id 列と name 列に OSS_FILE_FILTER が作成されます。

2. 現在のテーブルの DLM ポリシーは mysql.dlm_policies システムテーブルに保存されます。このテーブルで DLM ポリシーの詳細を確認できます。mysql.dlm_policies テーブルの詳細については、「テーブルスキーマの説明」をご参照ください。mysql.dlm_policies テーブルのスキーマ情報を表示します。

   mysql> SELECT * FROM mysql.dlm_policies\G

   次の結果が返されます：

   *************************** 1. row ***************************
                      Id: 3
            Table_schema: test
              Table_name: sales
             Policy_name: test_policy
             Policy_type: TABLE
            Archive_type: PARTITION COUNT
            Storage_mode: READ ONLY
          Storage_engine: CSV
           Storage_media: OSS
     Storage_schema_name: test
      Storage_table_name: sales_history
         Data_compressed: OFF
    Compressed_algorithm: NULL
                 Enabled: ENABLED
         Priority_number: 10300
   Tier_partition_number: 3
          Tier_condition: NULL
              Extra_info: {"oss_file_filter": "id,name:bloom,order_time"}
                 Comment: NULL
   1 row in set (0.03 sec)      

   現在、sales テーブルには 3 つのパーティションがあるため、データアーカイブは実行されません。

3. sales パーティションテーブルに 3,000 件のテストレコードを挿入し、データが現在のパーティション定義を超えるようにします。これにより、INTERVAL ポリシーがトリガーされ、新しいパーティションが自動的に作成されます。

   DROP PROCEDURE IF EXISTS proc_batch_insert;
   delimiter $$
   CREATE PROCEDURE proc_batch_insert(IN begin INT, IN end INT, IN name VARCHAR(20))
   BEGIN
   SET @insert_stmt = concat('INSERT INTO ', name, ' VALUES(? , ?, ?);');
   PREPARE stmt from @insert_stmt;
   WHILE begin <= end DO
   SET @ID1 = begin;
   SET @NAME = CONCAT(begin+begin*281313, '@stiven');
   SET @TIME = from_days(begin + 737600);
   EXECUTE stmt using @ID1, @NAME, @TIME;
   SET begin = begin + 1;
   END WHILE;
   END;
   $$
   delimiter ;
   CALL proc_batch_insert(1, 3000, 'sales');

4. この時点で、INTERVAL ポリシーがトリガーされ、新しいパーティションが自動的に作成されます。これにより、sales テーブルのパーティション数が増加し、テーブルスキーマは次のように変更されます：

   mysql> SHOW CREATE TABLE sales\G

   次の結果が返されます：

   *************************** 1. row ***************************       
         Table: sales
   Create Table: CREATE TABLE `sales` (  
     `id` int(11) DEFAULT NULL,  
     `name` varchar(20) DEFAULT NULL,  
     `order_time` datetime NOT NULL,  
      PRIMARY KEY (`order_time`)) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci
   /*!50500 PARTITION BY RANGE  COLUMNS(order_time) */ 
   /*!99990 800020200 INTERVAL(YEAR, 1) */
   /*!50500 (PARTITION p20200101000000 VALUES LESS THAN ('2020-01-01 00:00:00') ENGINE = InnoDB, 
   PARTITION p20210101000000 VALUES LESS THAN ('2021-01-01 00:00:00') ENGINE = InnoDB, 
   PARTITION p20220101000000 VALUES LESS THAN ('2022-01-01 00:00:00') ENGINE = InnoDB, 
   PARTITION _p20230101000000 VALUES LESS THAN ('2023-01-01 00:00:00') ENGINE = InnoDB, 
   PARTITION _p20240101000000 VALUES LESS THAN ('2024-01-01 00:00:00') ENGINE = InnoDB, 
   PARTITION _p20250101000000 VALUES LESS THAN ('2025-01-01 00:00:00') ENGINE = InnoDB, 
   PARTITION _p20260101000000 VALUES LESS THAN ('2026-01-01 00:00:00') ENGINE = InnoDB, 
   PARTITION _p20270101000000 VALUES LESS THAN ('2027-01-01 00:00:00') ENGINE = InnoDB, 
   PARTITION _p20280101000000 VALUES LESS THAN ('2028-01-01 00:00:00') ENGINE = InnoDB) */
   1 row in set (0.03 sec)

   新しいパーティションが作成され、パーティション数が 3 を超えました。これにより、DLM ポリシーの実行条件が満たされ、データをアーカイブできます。

DLM ポリシーの作成

次の例では、sales という名前のパーティションテーブルを作成します。このテーブルは order_time 列をパーティションキーとして使用し、時間間隔でパーティションを分割します。テーブルには INTERVAL と DLM の 2 つのポリシーがあります。

• INTERVAL ポリシー：挿入されたデータがパーティション範囲を超えると、1 年の時間間隔で新しいパーティションが自動的に作成されます。

• DLM ポリシー：テーブルには 3 つのパーティションのみを持つように定義されています。パーティション数が 3 を超えると、DLM ポリシーを実行して古いパーティションを直接 OSS に転送します。

1. sales テーブルを作成します。

   CREATE TABLE `sales` (
     `id` int DEFAULT NULL,
     `name` varchar(20) DEFAULT NULL,
     `order_time` datetime NOT NULL,
      PRIMARY KEY (`order_time`)
   ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4
   PARTITION BY RANGE  COLUMNS(order_time) INTERVAL(YEAR, 1)
   (PARTITION p20200101000000 VALUES LESS THAN ('2020-01-01 00:00:00') ENGINE = InnoDB,
    PARTITION p20210101000000 VALUES LESS THAN ('2021-01-01 00:00:00') ENGINE = InnoDB,
    PARTITION p20220101000000 VALUES LESS THAN ('2022-01-01 00:00:00') ENGINE = InnoDB)
   DLM ADD POLICY policy_part2part TIER TO PARTITION ENGINE=CSV STORAGE=OSS READ ONLY ON (PARTITIONS OVER 3);

   このテーブルの DLM ポリシー名は policy_part2part です。パーティション数が 3 を超えると、古いパーティションが OSS に転送されます。

2. mysql.dlm_policies テーブルで DLM ポリシーを表示します。

   SELECT * FROM mysql.dlm_policies\G

   次の結果が返されます：

   *************************** 1. row ***************************
                      Id: 2
            Table_schema: test
              Table_name: sales
             Policy_name: policy_part2part
             Policy_type: PARTITION
            Archive_type: PARTITION COUNT
            Storage_mode: READ ONLY
          Storage_engine: CSV
           Storage_media: OSS
     Storage_schema_name: NULL
      Storage_table_name: NULL
         Data_compressed: OFF
    Compressed_algorithm: NULL
                 Enabled: ENABLED
         Priority_number: 10300
   Tier_partition_number: 3
          Tier_condition: NULL
              Extra_info: null
                 Comment: NULL
   1 row in set (0.03 sec)

3. proc_batch_insert ストアドプロシージャを使用して、sales パーティションテーブルにテストデータを挿入します。これにより、INTERVAL ポリシーがトリガーされ、新しいパーティションが自動的に作成されます。

   CALL proc_batch_insert(1, 3000, 'sales');

   次の結果は、データが正常に挿入されたことを示します：

   Query OK, 1 row affected, 1 warning (0.99 sec)

4. 次のコマンドを実行して、sales テーブルのスキーマ情報を表示します。

   SHOW CREATE TABLE sales \G

   次の結果が返されます：

   *************************** 1. row ***************************
          Table: sales
   Create Table: CREATE TABLE `sales` (
     `id` int(11) DEFAULT NULL,
     `name` varchar(20) DEFAULT NULL,
     `order_time` datetime DEFAULT NULL,
      PRIMARY KEY (`order_time`)
   ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci
   /*!50500 PARTITION BY RANGE  COLUMNS(order_time) */ /*!99990 800020200 INTERVAL(YEAR, 1) */
   /*!50500 (PARTITION p20200101000000 VALUES LESS THAN ('2020-01-01 00:00:00') ENGINE = InnoDB,
    PARTITION p20210101000000 VALUES LESS THAN ('2021-01-01 00:00:00') ENGINE = InnoDB,
    PARTITION p20220101000000 VALUES LESS THAN ('2022-01-01 00:00:00') ENGINE = InnoDB,
    PARTITION _p20230101000000 VALUES LESS THAN ('2023-01-01 00:00:00') ENGINE = InnoDB,
    PARTITION _p20240101000000 VALUES LESS THAN ('2024-01-01 00:00:00') ENGINE = InnoDB,
    PARTITION _p20250101000000 VALUES LESS THAN ('2025-01-01 00:00:00') ENGINE = InnoDB,
    PARTITION _p20260101000000 VALUES LESS THAN ('2026-01-01 00:00:00') ENGINE = InnoDB,
    PARTITION _p20270101000000 VALUES LESS THAN ('2027-01-01 00:00:00') ENGINE = InnoDB,
    PARTITION _p20280101000000 VALUES LESS THAN ('2028-01-01 00:00:00') ENGINE = InnoDB) */
   1 row in set (0.03 sec)

DLM ポリシーの実行

1. 次のコマンドで DLM ポリシーを実行します。

   CALL dbms_dlm.execute_all_dlm_policies();

2. mysql.dlm_progress テーブルで DLM の実行記録を表示します。

   SELECT * FROM mysql.dlm_progress \G

   次の結果が返されます：

   *************************** 1. row ***************************
                     Id: 4
           Table_schema: test
             Table_name: sales
            Policy_name: policy_part2part
            Policy_type: PARTITION
         Archive_option: PARTITIONS OVER 3
         Storage_engine: CSV
          Storage_media: OSS
        Data_compressed: OFF
   Compressed_algorithm: NULL
     Archive_partitions: p20200101000000, p20210101000000, p20220101000000, _p20230101000000, _p20240101000000, _p20250101000000
          Archive_stage: ARCHIVE_COMPLETE
     Archive_percentage: 100
     Archived_file_info: null
             Start_time: 2023-09-11 18:04:39
               End_time: 2023-09-11 18:04:40
             Extra_info: null
   1 row in set (0.02 sec)

3. 次のコマンドを実行して、sales テーブルのスキーマ情報を表示します。

   SHOW CREATE TABLE sales \G

   次の結果が返されます：

   *************************** 1. row ***************************
          Table: sales
   Create Table: CREATE TABLE `sales` (
     `id` int(11) DEFAULT NULL,
     `name` varchar(20) DEFAULT NULL,
     `order_time` datetime DEFAULT NULL,
      PRIMARY KEY (`order_time`)
   ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci CONNECTION='default_oss_server'
   /*!99990 800020205 PARTITION BY RANGE  COLUMNS(order_time) */ /*!99990 800020200 INTERVAL(YEAR, 1) */
   /*!99990 800020205 (PARTITION p20200101000000 VALUES LESS THAN ('2020-01-01 00:00:00') ENGINE = CSV,
    PARTITION p20210101000000 VALUES LESS THAN ('2021-01-01 00:00:00') ENGINE = CSV,
    PARTITION p20220101000000 VALUES LESS THAN ('2022-01-01 00:00:00') ENGINE = CSV,
    PARTITION _p20230101000000 VALUES LESS THAN ('2023-01-01 00:00:00') ENGINE = CSV,
    PARTITION _p20240101000000 VALUES LESS THAN ('2024-01-01 00:00:00') ENGINE = CSV,
    PARTITION _p20250101000000 VALUES LESS THAN ('2025-01-01 00:00:00') ENGINE = CSV,
    PARTITION _p20260101000000 VALUES LESS THAN ('2026-01-01 00:00:00') ENGINE = InnoDB,
    PARTITION _p20270101000000 VALUES LESS THAN ('2027-01-01 00:00:00') ENGINE = InnoDB,
    PARTITION _p20280101000000 VALUES LESS THAN ('2028-01-01 00:00:00') ENGINE = InnoDB) */
   1 row in set (0.03 sec)

   クエリされたテーブルスキーマ情報によると、sales パーティションテーブルの p20200101000000、p20210101000000、p20220101000000、_p20230101000000、_p20240101000000、および _p20250101000000 パーティションはすべて OSS に転送されています。InnoDB エンジンには、3 つのホットデータパーティション _p20260101000000、_p20270101000000、および _p20280101000000 のみが残っています。sales テーブルはハイブリッドパーティションテーブルになりました。ハイブリッドパーティションテーブルのデータクエリ方法については、「ハイブリッドパーティションのクエリ」をご参照ください。