PolarDB:CSV または ORC 形式でのデータのアーカイブ

標準テーブルのアーカイブ

コールドデータアーカイブはテーブルレベルの操作です。テーブルをアーカイブすると、読み取り専用のアーカイブ済みテーブルになります。アーカイブ済みテーブルのエンジンは OSS エンジンであり、そのデータファイルは OSS に保存されます。コールドデータアーカイブ操作が完了すると、元のローカルテーブルが PolarStore で占有していたスペースが解放されます。

構文

ALTER TABLE table_name ENGINE = ORC STORAGE OSS;

パラメーター

考慮事項

• InnoDB エンジンまたは X-Engine エンジンを使用するテーブルに対して、コールドデータアーカイブ機能を使用できます。

• コールドデータアーカイブ中に、データ定義言語 (DDL) またはデータ操作言語 (DML) 文を使用してテーブルを変更することはできません。

• コールドデータアーカイブ機能は、ユーザーが作成した OSS サーバーへのデータファイルのアーカイブをサポートしていません。

• InnoDB エンジンを使用するテーブルでコールドデータアーカイブ機能を使用する場合、テーブルにはプライマリキーが必要です。

• コールドデータアーカイブが完了すると、OSS 内のアーカイブ済みテーブルは読み取り専用になり、クエリパフォーマンスが低下する可能性があります。データアーカイブ後にクエリパフォーマンスをテストして、要件を満たしていることを確認してください。

• テーブルに インメモリ列インデックス (IMCI) がある場合、CSV 形式でアーカイブすることはできず、ORC 形式でのみアーカイブできます。

例

テーブル t のデータを CSV または ORC 形式で OSS にアーカイブします。

1. oss_test データベースに t という名前の InnoDB テーブルを作成します。

   CREATE TABLE t(a int, b int, c int, primary key(a)) ENGINE = INNODB;

2. テーブル t にデータを挿入します。

   INSERT INTO t VALUES (1,2,3);

3. ALTER コマンドを使用してコールドデータをアーカイブします。

   • CSV 形式でアーカイブ:

     ALTER TABLE t ENGINE = CSV CONNECTION = 'default_oss_server';

   • ORC 形式でアーカイブ:

     ALTER TABLE t ENGINE = ORC STORAGE OSS;

4. アーカイブが完了したら、PolarDBコンソールにログインして OSS にアーカイブされたデータベースとテーブルに関する情報を表示するか、SQL 文を使用してアーカイブされたテーブルのデータを表示できます。

   • OSS にアーカイブされたデータベースとテーブルに関する情報を表示するには、PolarDB コンソールにログインします。対象クラスターのページで、[設定と管理] > [コールドデータアーカイブ] に移動して情報を表示します。

   • アーカイブされたテーブルのデータを表示するには、SQL 文を使用します。テーブルへのアクセス方法を変更する必要はありません。例:

     SELECT * FROM t;

パーティションテーブルを OSS 外部テーブルにアーカイブする

構文

CALL dbms_dlm.archive_partition2table('source_db', 'source_tb', 'source_part', 'archive_db', 'archive_table', ' oss_file_filter');

パラメーター

考慮事項

• アーカイブ先の OSS テーブルが存在しない場合は、自動的に作成されます。クエリを高速化するために、oss_file_filter で指定された列に oss_file_filter も自動的に作成されます。プライマリキーとパーティションキーも oss_file_filter に自動的に追加されます。

• 宛先の OSS テーブルが存在する場合、2 つのテーブル間で列名と列タイプの定義が一致しているかどうかを確認する必要があります。一致している場合は、データをアーカイブできます。一致していない場合は、エラーが発生します。DDL 文を使用して、2 つのテーブルの定義を一致させることができます。詳細については、「コールドデータの DDL」をご参照ください。さらに、宛先テーブルに oss_file_filter があり、その定義が call dbms_dlm.archive_partition2table の定義と異なる場合、宛先テーブルの oss_file_filter が使用されます。

• 宛先の OSS テーブルは存在しないが、同じ名前のファイルが OSS に存在する場合、アーカイブ操作を実行するとエラーメッセージが報告されます。エラーメッセージは次のとおりです。

  mysql> CALL dbms_dlm.archive_partition2table('test', 'sales', 'p0', 'test', 'sales_history', 'id');
  ERROR 8181 (HY000): [Data Lifecycle Management] errmsg: Target file for archived table exists on oss, please remove it first, or use flag 'FORCE' to overwrite on existing files.

  OSS の残りのファイルが不要であることを確認した場合は、ストアドプロシージャを使用して OSS のデータを削除し、アーカイブ操作を実行できます。

  -- OSS データを削除します。
  mysql> CALL dbms_oss.delete_table_file('test', 'sales_history');
  
  Query OK, 0 rows affected (0.76 sec)
  
  -- アーカイブ操作を実行します。
  mysql> CALL dbms_dlm.archive_partition2table('test', 'sales', 'p0', 'test', 'sales_history', 'id');
  
  Query OK, 0 rows affected (4.24 sec)

• 宛先の OSS テーブルは、CSV 形式のコールドデータのみをサポートします。

• パーティションがアーカイブされた後、テーブルには少なくとも 1 つの InnoDB パーティションが含まれている必要があります。

• アーカイブされたデータはパーティション情報を失い、直接復元することはできません。ただし、insert select を使用して復元できます。

• サブパーティションを個別にアーカイブすることはできません。第 1 レベルのパーティション全体の下にあるすべてのサブパーティションをアーカイブできます。

• 次の表に、PolarDB for MySQL のパーティション関数でサポートされているパーティションタイプを示します。

  第 1 レベルのパーティション	第 2 レベルのパーティション	OSS 外部テーブルへのアーカイブ
  HASH	任意のタイプ	HASH の第 1 レベルのパーティションを OSS 外部テーブルにアーカイブすることはサポートされていません。
  LIST	任意のタイプ	サポートされています。
  RANGE	任意のタイプ	サポートされています。
  KEY	任意のタイプ	サポートされています。
  LIST DEFAULT	任意のタイプ	DEFAULT パーティションのアーカイブはサポートされていません。

例

1. InnoDB パーティションテーブルを作成し、データを挿入します。

   DROP TABLE IF EXISTS `sales`;
   -- パーティションテーブルを作成します。
   CREATE TABLE `sales` (
     `id` int DEFAULT NULL,
     `name` varchar(20) DEFAULT NULL,
     `order_time` datetime NOT NULL,
     primary key (order_time)
   ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4
   PARTITION BY RANGE  COLUMNS(order_time) INTERVAL(month, 1)
   (PARTITION p0 VALUES LESS THAN ('2022-01-01') ENGINE = InnoDB,
    PARTITION p1 VALUES LESS THAN ('2023-01-01 00:00:00') ENGINE = InnoDB,
    PARTITION p2 VALUES LESS THAN ('2024-01-01 00:00:00') ENGINE = InnoDB);
   
   DROP PROCEDURE IF EXISTS proc_batch_insert;
   delimiter $$
   CREATE PROCEDURE proc_batch_insert(IN begin INT, IN end INT, IN name VARCHAR(20))
     BEGIN
     SET @insert_stmt = concat('INSERT INTO ', name, ' VALUES(? , ?, ?);');
     PREPARE stmt from @insert_stmt;
     WHILE begin <= end DO
       SET @ID1 = begin;
       SET @NAME = CONCAT(begin+begin*281313, '@stiven');
       SET @TIME = from_days(begin + 738368);
       EXECUTE stmt using @ID1, @NAME, @TIME;
       SET begin = begin + 1;
       END WHILE;
     END;
   $$
   delimiter ;
   
   CALL proc_batch_insert(1, 1000, 'sales');

2. パーティションテーブルの p0 パーティションを新しい OSS テーブルにアーカイブします。

   1. 次のコマンドを実行して、sales テーブルのスキーマ情報を表示します。

      -- 現在の InnoDB テーブルのステータスを表示します。
      mysql> SHOW CREATE TABLE sales;

      次の結果が返されます。

      *************************** 1. row ***************************
             Table: sales
      Create Table: CREATE TABLE `sales` (
        `id` int(11) DEFAULT NULL,
        `name` varchar(20) DEFAULT NULL,
        `order_time` datetime NOT NULL,
        PRIMARY KEY (`order_time`)
      ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci
      /*!50500 PARTITION BY RANGE  COLUMNS(order_time) */ /*!99990 800020200 INTERVAL(MONTH, 1) */
      /*!50500 (PARTITION p0 VALUES LESS THAN ('2022-01-01') ENGINE = InnoDB,
       PARTITION p1 VALUES LESS THAN ('2023-01-01 00:00:00') ENGINE = InnoDB,
       PARTITION p2 VALUES LESS THAN ('2024-01-01 00:00:00') ENGINE = InnoDB,
       PARTITION _p20240201000000 VALUES LESS THAN ('2024-02-01 00:00:00') ENGINE = InnoDB,
       PARTITION _p20240301000000 VALUES LESS THAN ('2024-03-01 00:00:00') ENGINE = InnoDB,
       PARTITION _p20240401000000 VALUES LESS THAN ('2024-04-01 00:00:00') ENGINE = InnoDB,
       PARTITION _p20240501000000 VALUES LESS THAN ('2024-05-01 00:00:00') ENGINE = InnoDB) */
      1 row in set (0.03 sec)

   2. 次のコマンドを実行して、p0 パーティションを OSS テーブル sales_history にアーカイブします。

      -- p0 パーティションを OSS テーブル sales_history にアーカイブし、id 列に OSS_FILE_FILTER を作成します。
      mysql> CALL dbms_dlm.archive_partition2table('test', 'sales', 'p0', 'test', 'sales_history', 'id');
      Query OK, 0 rows affected (1.86 sec)

   3. 次のコマンドを実行して、sales_history テーブルのスキーマを表示します。

      SHOW CREATE TABLE sales_history;

      次の結果が返されます。

      *************************** 1. row ***************************;
             Table: sales_history
      Create Table: CREATE TABLE `sales_history` (
        `id` int(11) DEFAULT NULL,
        `name` varchar(20) DEFAULT NULL,
       `order_time` datetime DEFAULT NULL,
        PRIMARY KEY (`order_time`)
      ) /*!99990 800020213 STORAGE OSS */ ENGINE=CSV DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci /*!99990 800020204 NULL_MARKER='NULL' */ /*!99990 800020223 OSS META=1 */ /*!99990 800020224 OSS_FILE_FILTER='id,order_time' */
      1 row in set (0.00 sec)

3. 新しい OSS テーブルでクエリを実行します。

   説明

   OSS_FILE_FILTER クエリ高速化機能を有効にして、クエリを高速化できます。

   mysql> explain SELECT * FROM sales_history WHERE id = 100;
   +----+-------------+---------------+------------+------+---------------+------+---------+------+------+----------+-------------------------------------------------------------------------------+
   | id | select_type | table         | partitions | type | possible_keys | key  | key_len | ref  | rows | filtered | Extra                                                                         |
   +----+-------------+---------------+------------+------+---------------+------+---------+------+------+----------+-------------------------------------------------------------------------------+
   |  1 | SIMPLE      | sales_history | NULL       | ALL  | NULL          | NULL | NULL    | NULL |  152 |    10.00 | Using where; With pushed engine condition (`test`.`sales_history`.`id` = 100) |
   +----+-------------+---------------+------------+------+---------------+------+---------+------+------+----------+-------------------------------------------------------------------------------+
   1 row in set, 1 warning (0.00 sec)
   
   mysql> SELECT * FROM sales_history WHERE id = 100;
   +------+-----------------+---------------------+
   | id   | name            | order_time          |
   +------+-----------------+---------------------+
   |  100 | 28131400@stiven | 2021-11-09 00:00:00 |
   +------+-----------------+---------------------+
   1 row in set (0.24 sec)

パーティションテーブルのアーカイブ

パーティションテーブルのアーカイブとは、そのパーティションをアーカイブすることを意味します。テーブルはアーカイブ後にハイブリッドパーティションテーブルになり、アーカイブされたパーティションのデータファイルは OSS に保存されます。アーカイブ操作が完了すると、パーティションが PolarStore で占有していたスペースは自動的に解放されます。

構文

• CSV 形式のファイルとしてアーカイブ:

  ALTER TABLE table_name CHANGE PARTITION part_name ENGINE = CSV;

• ORC 形式のファイルとしてアーカイブ:

  ALTER TABLE table_name CHANGE PARTITION part_name ENGINE = ORC;

パラメーター

考慮事項

• InnoDB エンジンを使用するパーティションテーブルに対してのみ、コールドデータアーカイブ機能を使用できます。

• パーティションテーブルのパーティションをアーカイブする場合、InnoDB エンジンを使用するパーティションを少なくとも 1 つ保持する必要があります。InnoDB エンジンを使用する最後のパーティションをアーカイブすることはできません。

• テーブルはアーカイブ後にハイブリッドパーティションテーブルになります。ハイブリッドパーティションテーブルに対して DDL 操作を実行することはできません。考慮事項の詳細については、「ハイブリッドパーティションの作成」をご参照ください。

• アーカイブされたパーティションのデータは変更できません。

• パーティションテーブルのサブパーティションはアーカイブできません。

• リストデフォルトハッシュパーティションテーブルの DEFAULT パーティションはアーカイブできません。

• HASH または KEY パーティションテーブルはアーカイブできません。

• パーティションテーブル全体を手動でアーカイブすることはできません。

• パーティション内のデータをアーカイブするときに、同じ名前のファイルが OSS に存在する場合、操作は失敗し、次のようなエラーメッセージが報告されます。

  Target file for archived table exists on oss.

  次のコマンドを実行して、OSS の既存のファイルを上書きする必要があります。table_name と part_name を実際の値に置き換えてください。

  ALTER TABLE table_name CHANGE PARTITION part_name ENGINE = CSV/ORC FORCE;

例

テーブル t の p1 および p2 パーティションのデータを CSV 形式で OSS にアーカイブします。

1. データベースに t という名前の InnoDB テーブルを作成します。

   CREATE TABLE t(a int, b int, c int, primary key(a))
   PARTITION BY RANGE(a)
   (PARTITION p1 values less than(100),
    PARTITION p2 values less than(200),
    PARTITION p3 values less than MAXVALUE
   );

2. テーブル t にデータを挿入します。

   INSERT INTO t VALUES(1,1,1);
   INSERT INTO t VALUES(10,10,10);
   INSERT INTO t VALUES(100,100,100);
   INSERT INTO t VALUES(150,150,150);
   INSERT INTO t VALUES(200,200,200);
   INSERT INTO t VALUES(1000,1000,1000);

3. 次のコマンドを実行して、p1 および p2 パーティションのデータを OSS エンジンにアーカイブします。

   • CSV 形式でアーカイブ:

     ALTER TABLE t CHANGE PARTITION p1 ENGINE = csv;
     ALTER TABLE t CHANGE PARTITION p2 ENGINE = csv;

   • ORC 形式でアーカイブ:

     ALTER TABLE t CHANGE PARTITION p1 ENGINE = ORC;
     ALTER TABLE t CHANGE PARTITION p2 ENGINE = ORC;

4. アーカイブが完了したら、PolarDBコンソールにログインして OSS にアーカイブされたデータベースとテーブルに関する情報を表示するか、SQL 文を使用してハイブリッドパーティションテーブルのデータをクエリできます。

   • OSS にアーカイブされたデータベースとテーブルに関する情報を表示するには、PolarDB コンソールにログインします。対象クラスターのページで、[設定と管理] > [コールドデータアーカイブ] に移動して情報を表示します。

   • ハイブリッドパーティションテーブルにおけるデータのクエリに関する詳細については、「ハイブリッドパーティションのクエリ」をご参照ください。

アーカイブデータの TDE 暗号化

データセキュリティ要件を満たすために、コールドデータを OSS にアーカイブするときにファイルの TDE (透過的データ暗号化) を指定できます。基本原則は、アーカイブ操作中に暗号化するファイルを選択し、OSS サーバーが暗号化を実行することです。暗号化の詳細については、「データ暗号化」をご参照ください。暗号化後、PolarDB for MySQL の SQL 文を使用してアーカイブされたデータを直接クエリできます。暗号化と復号のプロセス全体はバックグラウンドで完了し、ユーザーには透過的です。追加の操作は必要ありません。

構文

手動アーカイブ操作中に、ENCRYPTION="Y" 構文を追加して TDE を有効にできます。

ALTER TABLE t1 engine = CSV ENCRYPTION="Y" STORAGE OSS;

OSS から PolarStore へのデータの復元

ALTER TABLE table_name ENGINE[=]engine_name;

1036 - Table 't1' is read only

ALTER TABLE `oss_test`.`t` ENGINE = InnoDB;

ALTER TABLE t ENGINE = CSV CONNECTION = 'default_oss_server';

ALTER TABLE t ENGINE = CSV STORAGE OSS;

ALTER TABLE table_name REORGANIZE PARTITION part_name INTO (partition_definition);

ALTER TABLE t REORGANIZE PARTITION p1 INTO(PARTITION p1 values less than(100));

OSS から対応するファイルを削除する

OSS からテーブルを削除したり、PolarStore に復元したりしても、OSS 内のファイルは削除されません。データが不要になったことを確認した後、次の構文を使用して OSS から対応するファイルを削除できます。

CALL dbms_oss.delete_table_file('database_name', 'table_name');

OSS からのファイルの削除は非同期操作であるため、クラスター内のすべてのノードがファイルに依存しなくなった後にのみ、ファイルを完全に削除できます。トラフィックが多い場合、操作が遅延することがあります。したがって、前のコマンドが失敗してエラーメッセージ OSS files are still in use が返された場合は、しばらく待ってからコマンドを再実行してください。