Structure des tables pour l'archivage automatique des données froides - PolarDB

La fonctionnalité DLM utilise deux tables système : mysql.dlm_policies et mysql.dlm_progress. Un compte privilégié permet de consulter toutes les politiques DLM disponibles ainsi que leurs journaux d'exécution sur le cluster actuel. Le système crée ces deux tables automatiquement au démarrage ; aucune création manuelle n'est requise.

Table mysql.dlm_policies

La table mysql.dlm_policies stocke toutes les politiques DLM du cluster actuel.

Table Schema

CREATE TABLE `dlm_policies` (
  `Id` bigint(20) NOT NULL AUTO_INCREMENT,
  `Table_schema` varchar(64) NOT NULL,
  `Table_name` varchar(64) NOT NULL,
  `Policy_name` varchar(64) NOT NULL,
  `Policy_type` varchar(64) DEFAULT NULL,
  `Archive_type` varchar(20) DEFAULT NULL,
  `Storage_mode` varchar(20) DEFAULT NULL,
  `Storage_engine` varchar(64) DEFAULT NULL,
  `Storage_media` varchar(20) DEFAULT NULL,
  `Storage_schema_name` varchar(64) DEFAULT NULL,
  `Storage_table_name` varchar(64) DEFAULT NULL,
  `Data_compressed` varchar(10) DEFAULT 'OFF',
  `Compressed_algorithm` varchar(64) DEFAULT NULL,
  `Enabled` varchar(10) DEFAULT 'ON',
  `Priority_number` int(11) NOT NULL,
  `Tier_partition_number` int(11) DEFAULT '0',
  `Tier_condition` varchar(512) DEFAULT NULL,
  `Extra_info` json NOT NULL,
  `Comment` varchar(2048) DEFAULT NULL,
  PRIMARY KEY (`Id`),
  UNIQUE KEY `unique_policy` (`Table_schema`,`Table_name`,`Policy_name`)
) /*!50100 TABLESPACE `mysql` */ ENGINE=InnoDB AUTO_INCREMENT=24 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci COMMENT='PolarDB DLM policies table'
1 row in set (0.00 sec)

Parameter Description

Paramètre	Description
Id	Clé primaire à incrémentation automatique.
Table_schema	Base de données contenant la table à laquelle s'applique la politique DLM.
Table_name	Nom de la table à laquelle s'applique la politique DLM.
Policy_name	Nom de la politique DLM.
Policy_type	Type de politique DLM. Valeurs possibles : TABLE (par défaut) : archive les données sous forme de table. PARTITION : archive les données sous forme de partition. NONE : supprime directement les données.
Archive_type	Méthode d'exécution de la politique DLM. Valeurs possibles : PARTITION COUNT (par défaut) : archive les données en fonction d'un nombre spécifié de partitions. CONDITION : archive les données selon une condition spécifiée. Cette valeur n'est pas prise en charge.
Storage_mode	Mode de stockage. Valeurs possibles : READ ONLY (par défaut) : les données archivées sont en lecture seule. READ WRITE : les données archivées sont accessibles en lecture et en écriture. Cette valeur n'est pas prise en charge.
Storage_engine	Moteur de stockage de la table d'archive. Actuellement, les données ne peuvent être archivées qu'au format CSV.
Storage_media	Support de stockage de la table d'archive. Actuellement, seul OSS est pris en charge.
Storage_schema_name	Base de données contenant la table d'archive lorsque les données sont archivées sous forme de table.
Storage_table_name	Nom de la table d'archive lorsque les données sont archivées sous forme de table.
Data_compressed	Indique si les données archivées doivent être compressées. Ce paramètre n'est pas pris en charge.
Compressed_algorithm	Algorithme de compression des données. Ce paramètre n'est pas pris en charge.
Enabled	Indique si la politique DLM est activée. Valeurs possibles : ENABLED (par défaut) : la politique DLM est activée. DISABLED : la politique DLM est désactivée.
Priority_number	Priorité d'exécution de la politique DLM. Ce paramètre n'est pas pris en charge.
Tier_partition_number	Nombre de partitions à archiver lorsque Archive_type est défini sur PARTITION COUNT.
Tier_condition	Condition d'archivage lorsque Archive_type est défini sur CONDITION. Ce paramètre n'est pas pris en charge.
Extra_info	Informations supplémentaires au format JSON.
Comment	Commentaire relatif à la politique DLM.

Table mysql.dlm_progress

La table mysql.dlm_progress stocke les journaux d'exécution des politiques DLM sur le cluster actuel.

Table Schema

CREATE TABLE `dlm_progress` (
  `Id` bigint(20) NOT NULL AUTO_INCREMENT,
  `Table_schema` varchar(64) NOT NULL,
  `Table_name` varchar(64) NOT NULL,
  `Policy_name` varchar(64) NOT NULL,
  `Policy_type` varchar(64) DEFAULT NULL,
  `Archive_option` varchar(64) DEFAULT NULL,
  `Storage_engine` varchar(64) DEFAULT NULL,
  `Storage_media` varchar(20) DEFAULT NULL,
  `Data_compressed` varchar(10) DEFAULT 'OFF',
  `Compressed_algorithm` varchar(64) DEFAULT NULL,
  `Archive_partitions` varchar(2048) DEFAULT NULL,
  `Archive_stage` varchar(64) DEFAULT NULL,
  `Archive_percentage` int(11) DEFAULT NULL,
  `Archived_file_info` json NOT NULL,
  `Start_time` datetime NOT NULL,
  `End_time` datetime DEFAULT NULL,
  `Extra_info` json NOT NULL,
  PRIMARY KEY (`Id`),
  UNIQUE KEY `unique_progress` (`Table_schema`,`Table_name`,`Policy_name`,`Start_time`)
) /*!50100 TABLESPACE `mysql` */ ENGINE=InnoDB AUTO_INCREMENT=21 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci COMMENT='PolarDB DLM progress table'
1 row in set (0.00 sec)

Parameter Description

Paramètre	Description
Id	Clé primaire à incrémentation automatique.
Table_schema	Base de données contenant la table à laquelle s'applique la politique DLM.
Table_name	Nom de la table à laquelle s'applique la politique DLM.
Policy_name	Nom de la politique DLM.
Policy_type	Type de politique DLM. Valeurs possibles : TABLE (par défaut) : archive les données sous forme de table. PARTITION : archive les données sous forme de partition. NONE : supprime directement les données.
Archive_option	Condition d'exécution de la politique DLM.
Storage_engine	Moteur de stockage de la table d'archive. Actuellement, les données ne peuvent être archivées qu'au format CSV.
Storage_media	Support de stockage de la politique DLM. Valeurs possibles : OSS (par défaut) : le support de stockage est OSS. DISK : le support de stockage est le stockage PFS local. Cette valeur n'est pas prise en charge.
Data_compressed	Indique si les données archivées doivent être compressées. Ce paramètre n'est pas pris en charge.
Compressed_algorithm	Algorithme de compression des données. Ce paramètre n'est pas pris en charge.
Archive_partitions	Noms des partitions archivées.
Archive_stage	Phase d'exécution de la politique DLM. Les phases sont les suivantes : INITIALIZE : la tâche est en cours d'initialisation. WAITING : la tâche est mise en file d'attente et attend son exécution. DATA_COPYING : le système copie les données vers le nouveau support de stockage. STORAGE_MOVING : le système modifie le moteur de stockage des données à archiver. DATA_VERIFYING : le système vérifie que les données archivées sont cohérentes avec les données source. DATA_DELETING : le système supprime les données source pour libérer de l'espace de stockage. ARCHIVE_COMPLETE : l'exécution de la politique est terminée. ARCHIVE_ERROR : une erreur s'est produite lors de l'exécution de la politique. Remarque Lorsqu'une politique DLM est en cours d'exécution (dans toute phase autre que ARCHIVE_COMPLETE), le système ignore automatiquement les demandes ultérieures d'exécution de la même politique. Si l'exécution d'une politique échoue et passe à la phase ARCHIVE_ERROR, le système stocke les détails de l'erreur dans la colonne `Extra_info` de la table `mysql.dlm_progress`. Avant de pouvoir réexécuter la politique, identifiez et résolvez la cause de l'échec. Ensuite, effacez l'enregistrement ayant échoué en le supprimant ou en mettant à jour son statut vers ARCHIVE_COMPLETE en exécutant l'instruction suivante : `UPDATE mysql.dlm_progress SET Archive_stage = "ARCHIVE_COMPLETE" where Id = current_progress_id;`. Une fois l'enregistrement réinitialisé, vous pouvez relancer la politique DLM.
Archive_percentage	Progression de l'exécution de la politique DLM, exprimée en pourcentage.
Archived_file_info	Informations relatives aux fichiers archivés, au format JSON.
Start_time	Heure de début de l'exécution de la politique DLM.
End_time	Heure de fin de l'exécution de la politique DLM.
Extra_info	Informations supplémentaires, telles que les messages d'erreur, au format JSON.