PolarDB:CSV または ORC 形式でのデータアーカイブ

制限事項

• 対応エンジン：InnoDB および X-Engine。

• InnoDB テーブルにはプライマリキーが必要です。

• インメモリ列指向インデックス（IMCI）を持つテーブルは、CSV 形式ではなく ORC 形式でのみアーカイブ可能です。

• アーカイブ中は、そのテーブルに対して DDL および DML ステートメントを実行できません。

• ユーザー作成の OSS サーバーへのアーカイブはサポートされていません。

• アーカイブ後はテーブルが読み取り専用となり、クエリパフォーマンスが低下する可能性があります。要件を満たすか確認するため、アーカイブ後にクエリパフォーマンスをテストしてください。

パラメーター

例

t テーブルを oss_test データベースから CSV または ORC 形式で OSS へアーカイブします。

1. プライマリキーを持つ InnoDB テーブルを作成します。

   CREATE TABLE t(a int, b int, c int, primary key(a)) ENGINE = INNODB;

2. データを挿入します。

   INSERT INTO t VALUES (1,2,3);

3. テーブルをアーカイブします。CSV 形式：

   ALTER TABLE t ENGINE = CSV CONNECTION = 'default_oss_server';

   ORC 形式：

   ALTER TABLE t ENGINE = ORC STORAGE OSS;

4. アーカイブ完了後に結果を確認します。

   • コンソールから：PolarDB コンソール にログインします。対象クラスターページで、設定項目と管理 > データライフサイクル > データアーカイブ（コールドデータ） へ移動します。

   • SQL から： アーカイブ済みテーブルを直接クエリします — アクセスパターンは変更されません。sql SELECT * FROM t;

前提条件

• クラスターバージョン：PolarDB for MySQL 8.0.2（リビジョン 8.0.2.2.25 以降）。

• パーティションレベルのメタデータロック (MDL) を有効にするには、クラスターパラメーター partition_level_mdl_enabled を ON に設定します。詳細については、「クラスターおよびノードパラメーターの設定」をご参照ください。

• クラスターパラメーター loose_use_oss_meta を ON に設定します。手順については、「クラスターおよびノードのパラメーターを設定する」をご参照ください。

制限事項

• 送信先 OSS テーブルは CSV 形式のみをサポートします。

• パーティションをアーカイブした後、ソーステーブルには少なくとも 1 つの InnoDB パーティションを残す必要があります。

• アーカイブされたデータはパーティション情報を持たなくなり、直接復元できません。必要に応じて、INSERT INTO ... SELECT を使用してデータを復元してください。

• サブパーティションは個別にアーカイブできません。代わりに、最上位レベルのパーティション全体をアーカイブしてください。

• 対応する最上位レベルのパーティションタイプ：

  最上位レベルのパーティションタイプ	2 次パーティションタイプ	対応状況
  LIST	任意	はい
  RANGE	任意	はい
  KEY	任意	はい
  HASH	任意	いいえ
  LIST DEFAULT	任意	DEFAULT パーティションを除き対応

構文

CALL dbms_dlm.archive_partition2table(
  'source_db',
  'source_tb',
  'source_part',
  'archive_db',
  'archive_table',
  'oss_file_filter'
);

パラメーター

送信先テーブルの状態に基づく動作：

• 送信先テーブルが存在しない場合： テーブルは自動的に作成されます。OSS_FILE_FILTER は指定された列に作成され、プライマリキーおよびパーティションキーは自動的に追加されます。

• 送信先テーブルが存在する場合： 列名および型はソーステーブルと一致している必要があります。異なる場合は、アーカイブ前に DDL ステートメントを使用してスキーマを整合させてください。「コールドデータ向け DDL」をご参照ください。送信先テーブルに定義が異なる OSS_FILE_FILTER が既に存在する場合、既存のものが使用されます。

• 送信先テーブルは存在しないが、OSS に同名のファイルが存在する場合： 操作は以下のエラーで失敗します。

  ERROR 8181 (HY000): [Data Lifecycle Management] errmsg: Target file for archived table exists on oss, please remove it first, or use flag 'FORCE' to overwrite on existing files.

  不要な残留 OSS ファイルがある場合は、それらを削除して再試行してください。

  -- 残留 OSS ファイルを削除します。
  CALL dbms_oss.delete_table_file('test', 'sales_history');
  -- Query OK, 0 rows affected (0.76 sec)
  
  -- アーカイブ操作を再試行します。
  CALL dbms_dlm.archive_partition2table('test', 'sales', 'p0', 'test', 'sales_history', 'id');
  -- Query OK, 0 rows affected (4.24 sec)

例

パーティションテーブル sales の p0 パーティションを、新しい OSS テーブル sales_history へアーカイブします。

1. InnoDB パーティションテーブルを作成し、データを挿入します。

   DROP TABLE IF EXISTS `sales`;
   
   -- RANGE パーティションテーブルを作成します。
   CREATE TABLE `sales` (
     `id` int DEFAULT NULL,
     `name` varchar(20) DEFAULT NULL,
     `order_time` datetime NOT NULL,
     primary key (order_time)
   ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4
   PARTITION BY RANGE COLUMNS(order_time) INTERVAL(month, 1)
   (PARTITION p0 VALUES LESS THAN ('2022-01-01') ENGINE = InnoDB,
    PARTITION p1 VALUES LESS THAN ('2023-01-01 00:00:00') ENGINE = InnoDB,
    PARTITION p2 VALUES LESS THAN ('2024-01-01 00:00:00') ENGINE = InnoDB);
   
   -- バッチ挿入プロシージャを使用して 1,000 行を挿入します。
   DROP PROCEDURE IF EXISTS proc_batch_insert;
   delimiter $$
   CREATE PROCEDURE proc_batch_insert(IN begin INT, IN end INT, IN name VARCHAR(20))
     BEGIN
     SET @insert_stmt = concat('INSERT INTO ', name, ' VALUES(? , ?, ?);');
     PREPARE stmt from @insert_stmt;
     WHILE begin <= end DO
       SET @ID1 = begin;
       SET @NAME = CONCAT(begin+begin*281313, '@stiven');
       SET @TIME = from_days(begin + 738368);
       EXECUTE stmt using @ID1, @NAME, @TIME;
       SET begin = begin + 1;
       END WHILE;
     END;
   $$
   delimiter ;
   
   CALL proc_batch_insert(1, 1000, 'sales');

2. sales テーブルの現在のスキーマを確認します。

   SHOW CREATE TABLE sales;

   期待される出力：

   *************************** 1. row ***************************
          Table: sales
   Create Table: CREATE TABLE `sales` (
     `id` int(11) DEFAULT NULL,
     `name` varchar(20) DEFAULT NULL,
     `order_time` datetime NOT NULL,
     PRIMARY KEY (`order_time`)
   ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci
   /*!50500 PARTITION BY RANGE  COLUMNS(order_time) */ /*!99990 800020200 INTERVAL(MONTH, 1) */
   /*!50500 (PARTITION p0 VALUES LESS THAN ('2022-01-01') ENGINE = InnoDB,
    PARTITION p1 VALUES LESS THAN ('2023-01-01 00:00:00') ENGINE = InnoDB,
    PARTITION p2 VALUES LESS THAN ('2024-01-01 00:00:00') ENGINE = InnoDB,
    ...) */
   1 row in set (0.03 sec)

3. p0 パーティションを OSS テーブル sales_history へアーカイブし、OSS_FILE_FILTER を id 列に設定します。

   CALL dbms_dlm.archive_partition2table('test', 'sales', 'p0', 'test', 'sales_history', 'id');
   -- Query OK, 0 rows affected (1.86 sec)

4. 作成された sales_history テーブルのスキーマを確認します。

   SHOW CREATE TABLE sales_history;

   期待される出力：

   *************************** 1. row ***************************
          Table: sales_history
   Create Table: CREATE TABLE `sales_history` (
     `id` int(11) DEFAULT NULL,
     `name` varchar(20) DEFAULT NULL,
     `order_time` datetime DEFAULT NULL,
     PRIMARY KEY (`order_time`)
   ) /*!99990 800020213 STORAGE OSS */ ENGINE=CSV DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci
   /*!99990 800020204 NULL_MARKER='NULL' */ /*!99990 800020223 OSS META=1 */
   /*!99990 800020224 OSS_FILE_FILTER='id,order_time' */
   1 row in set (0.00 sec)

5. アーカイブされたデータをクエリします。

   クエリパフォーマンス向上のため、OSS テーブルで OSS_FILE_FILTER クエリ高速化 を有効化してください。

   SELECT * FROM sales_history WHERE id = 100;

   期待される出力：

   +------+-----------------+---------------------+
   | id   | name            | order_time          |
   +------+-----------------+---------------------+
   |  100 | 28131400@stiven | 2021-11-09 00:00:00 |
   +------+-----------------+---------------------+
   1 row in set (0.24 sec)

前提条件

• クラスターバージョン：PolarDB for MySQL 8.0.2（リビジョン 8.0.2.2.14 以降）。

制限事項

• InnoDB ストレージエンジンのパーティションテーブルのみがサポートされます。

• テーブルには少なくとも 1 つの InnoDB パーティションを残す必要があります。最後の InnoDB パーティションはアーカイブできません。

• ハイブリッドパーティションテーブルでは DDL 操作を実行できません。「ハイブリッドパーティションテーブルの作成」を参照して、詳細情報をご確認ください。

• アーカイブされたパーティションのデータは読み取り専用です。アーカイブパーティションに対する書き込み操作はサポートされていません。

• サブパーティションは個別にアーカイブできません。

• LIST DEFAULT HASH パーティションテーブルの DEFAULT パーティションはアーカイブできません。

• HASH および KEY パーティションテーブルはアーカイブできません。

• パーティションテーブル全体を手動でアーカイブすることはできません。パーティションを個別にアーカイブしてください。

構文

-- CSV 形式でアーカイブ：
ALTER TABLE table_name CHANGE PARTITION part_name ENGINE = CSV;

-- ORC 形式でアーカイブ：
ALTER TABLE table_name CHANGE PARTITION part_name ENGINE = ORC;

OSS に同名のファイルが既に存在する場合、操作は「Target file for archived table exists on oss.」というエラーで失敗します。既存の OSS ファイルを上書きするには、ステートメントに FORCE を追加します。リビジョン 8.0.2.2.29 以降を実行中のクラスターでは、FORCE STORAGE OSS もサポートされています。

ALTER TABLE table_name CHANGE PARTITION part_name ENGINE = CSV/ORC FORCE;

ALTER TABLE table_name CHANGE PARTITION part_name ENGINE = CSV FORCE STORAGE OSS;

パラメーター

例

テーブル t の p1 および p2 パーティションを CSV 形式で OSS へアーカイブします。

1. InnoDB RANGE パーティションテーブルを作成します。

   CREATE TABLE t(a int, b int, c int, primary key(a))
   PARTITION BY RANGE(a)
   (PARTITION p1 VALUES LESS THAN (100),
    PARTITION p2 VALUES LESS THAN (200),
    PARTITION p3 VALUES LESS THAN MAXVALUE
   );

2. データを挿入します。

   INSERT INTO t VALUES (1,1,1), (10,10,10), (100,100,100),
                        (150,150,150), (200,200,200), (1000,1000,1000);

3. p1 および p2 パーティションをアーカイブします。CSV 形式：

   ALTER TABLE t CHANGE PARTITION p1 ENGINE = CSV;
   ALTER TABLE t CHANGE PARTITION p2 ENGINE = CSV;

   ORC 形式：

   ALTER TABLE t CHANGE PARTITION p1 ENGINE = ORC;
   ALTER TABLE t CHANGE PARTITION p2 ENGINE = ORC;

4. アーカイブ完了後に結果を確認します。

   • コンソールから：PolarDB コンソール にログインします。対象クラスターページで、設定項目と管理 > データライフサイクル > データアーカイブ（コールドデータ） へ移動します。

   • SQL から： ハイブリッドパーティションテーブルをクエリします。「ハイブリッドパーティションのクエリ」を参照して、詳細情報をご確認ください。

前提条件

• CSV または ORC 形式での手動アーカイブのみ対応。

• クラスターバージョン：PolarDB for MySQL 8.0.1（リビジョン 8.0.1.1.47 以降）または 8.0.2（リビジョン 8.0.2.2.27 以降）。クラスターがこの要件を満たさない場合は、「マイナーバージョンのアップグレード」をご参照ください。

構文

アーカイブステートメントに ENCRYPTION="Y" を追加します。

ALTER TABLE t1 ENGINE = CSV ENCRYPTION="Y" STORAGE OSS;

標準アーカイブテーブルの復元

復元操作では、OSS テーブルを PolarStore 内の読み書き可能な InnoDB テーブルへ変換します。復元後、OSS 内のアーカイブデータは削除されます。

アーカイブ済みの OSS テーブルは読み取り専用です。INSERT、UPDATE、および DELETE 操作は「1036 - Table 't1' is read only」というエラーで失敗します。変更を行う前に、テーブルを PolarStore へ復元してください。

ALTER TABLE table_name ENGINE = engine_name;

ALTER TABLE `oss_test`.`t` ENGINE = InnoDB;

-- 形式 1：
ALTER TABLE t ENGINE = CSV CONNECTION = 'default_oss_server';

-- 形式 2：
ALTER TABLE t ENGINE = CSV STORAGE OSS;

アーカイブ済みパーティションの復元

アーカイブ済みパーティションの復元では、そのデータが OSS から PolarStore へ戻されます。復元後、OSS 内のコールドデータは削除されます。

ALTER TABLE table_name REORGANIZE PARTITION part_name INTO (partition_definition);

ALTER TABLE t REORGANIZE PARTITION p1 INTO (PARTITION p1 VALUES LESS THAN (100));