Si vous souhaitez réaliser une synchronisation et une gestion des données PolarDB-X de bout en bout, vous pouvez activer le moteur de stockage columnaire sur une instance PolarDB-X et la lier à un cluster destination Enterprise, Basic ou Data Lakehouse Edition. Par rapport aux autres solutions de synchronisation de données, cette approche tout-en-un se distingue par son faible coût, sa simplicité d'utilisation et sa capacité à synchroniser les données en temps réel pour une analytique véritablement instantanée. Cette rubrique explique comment synchroniser les données d'une instance PolarDB-X vers un cluster AnalyticDB for MySQL Enterprise, Basic ou Data Lakehouse Edition de manière intégrée.
Prérequis
Le cluster Enterprise, Basic ou Data Lakehouse Edition et l'instance PolarDB-X 2,0 sont déployés dans la même région et appartiennent au même VPC. Pour plus d'informations, consultez les rubriques Créer un cluster Enterprise Edition ou Basic Edition et Créer une instance PolarDB-X 2,0.
-
L'instance PolarDB-X 2,0 est de type Enterprise Edition et sa version est 5.4.19-16989811 ou ultérieure.
RemarquePour savoir comment afficher et mettre à niveau la version de l'instance, consultez la rubrique Afficher et mettre à niveau la version de l'instance.
-
Enterprise, Basic ou Data Lakehouse Edition La version du noyau du cluster doit être 3.2.0.0 ou ultérieure.
RemarqueAccédez à la console AnalyticDB for MySQL et naviguez vers la page Cluster Information. Dans la section Configuration Information, affichez et mettez à niveau la version du noyau.
Un compte de base de données a été créé pour le cluster Enterprise, Basic ou Data Lakehouse Edition.
Informations générales
AnalyticDB for MySQL est un entrepôt de données en temps réel bâti sur une architecture lakehouse, offrant des performances élevées pour l'interrogation de volumes massifs de données. PolarDB-X est une base de données distribuée cloud-native haute performance, capable de gérer des millions de connexions simultanées et des centaines de pétaoctets de stockage. Une fois le moteur de stockage columnaire activé sur une instance PolarDB-X 2,0 et lié à un cluster Enterprise, Basic ou Data Lakehouse Edition, ce dernier crée automatiquement une tâche de découverte des métadonnées. Les métadonnées des tables columnaires de l'instance PolarDB-X 2,0 sont alors synchronisées automatiquement vers le cluster Enterprise, Basic ou Data Lakehouse Edition, où vous pouvez effectuer directement vos analyses de données dans le cluster Enterprise, Basic ou Data Lakehouse Edition.
La synchronisation tout-en-un des données d'une instance PolarDB-X 2,0 présente les avantages suivants :
Synchronisation en temps réel : Après modification des données dans PolarDB-X 2,0, les changements sont répliqués vers le cluster Enterprise, Basic ou Data Lakehouse Edition en quelques secondes. Vous pouvez interroger les données mises à jour dans le cluster Enterprise, Basic ou Data Lakehouse Edition presque instantanément, permettant ainsi une analytique véritablement en temps réel.
Simplicité d'utilisation : Lorsque les données ou les schémas de table sont modifiés dans PolarDB-X 2,0, ces changements sont automatiquement synchronisés vers le cluster Enterprise, Basic ou Data Lakehouse Edition sans aucune intervention manuelle.
Rapport qualité-prix élevé et coûts réduits : L'activation du moteur de stockage columnaire sur PolarDB-X 2,0 n'engendre aucun frais supplémentaire. Lors de l'analyse des données dans le cluster Enterprise, Basic ou Data Lakehouse Edition, vous pouvez utiliser des groupes de ressources basés sur les jobs pour le développement SQL. Ces groupes de ressources fournissent des capacités de calcul et de stockage élastiques à la demande, à moindre coût.
Scénarios
La synchronisation tout-en-un des données PolarDB-X 2,0 s'applique aux scénarios suivants :
Analyse en temps réel des données PolarDB-X 2,0 : effectuez des analyses en temps réel sur les données de PolarDB-X 2,0 sans impacter les activités en ligne.
Analyse conjointe de sources de données multiples : associez et analysez les données de PolarDB-X 2,0 avec celles provenant d'autres sources.
Analyse des données de plusieurs instances PolarDB-X 2,0 : réalisez des analyses croisées sur les données réparties across plusieurs instances PolarDB-X 2,0.
Précautions
Pendant la synchronisation des données, des bases de données et des tables portant les mêmes noms que celles de l'instance PolarDB-X 2,0 sont créées dans le cluster Enterprise, Basic ou Data Lakehouse Edition. Veuillez donc prendre en compte les points suivants lors de la synchronisation :
Si une base de données ou une table portant le même nom existe déjà dans le cluster Enterprise, Basic ou Data Lakehouse Edition, la synchronisation des données échoue.
Si seule une base de données portant le même nom existe dans le cluster Enterprise, Basic ou Data Lakehouse Edition, aucune nouvelle base de données n'est créée. Les tables sont synchronisées dans la base de données existante.
Préparation des données
Dans cet exemple, la base de données PolarDB-X 2,0 se nomme test_adb et une table nommée person y est créée. Exemple :
CREATE DATABASE test_adb MODE='AUTO'
CREATE TABLE person (
`id` bigint NOT NULL AUTO_INCREMENT,
`age` int(11) NOT NULL DEFAULT '0',
`name` char(60) NOT NULL DEFAULT '',
`city` char(60) NOT NULL DEFAULT '',
PRIMARY KEY (`id`),
INDEX `age_1` (`age`)
) PARTITION BY KEY(`id`) PARTITIONS 4;
Insérez des données dans la table person. Exemple :
INSERT INTO person VALUES (1,23,'Bob','Hangzhou'),(2,33,'Make','Wuhan');
Créez un index columnaire sur la colonne id de la table person. Le nom de l'index est person_col_index.
CREATE clustered columnar INDEX `person_col_index` ON person(`id`) PARTITION BY hash(`id`) partitions 4;
Procédure
Étape 1 : Activer le moteur de stockage columnaire pour PolarDB-X 2,0
Connectez-vous à la console PolarDB-X.
Dans le coin supérieur gauche de la page, sélectionnez la région où l'instance cible est déployée.
Sur la page Instances, cliquez sur l'onglet PolarDB-X 2.0. Cliquez ensuite sur l'ID de l'instance cible.
Dans le volet de navigation de gauche, cliquez sur Columnar Engine.
-
Cliquez sur Create Columnar Engine. Dans la boîte de dialogue Create Columnar Engine, cliquez sur OK.
RemarqueVous pouvez cliquer sur le bouton
situé dans le coin supérieur droit de la page pour afficher la Task Progress de la création du moteur de stockage columnaire. Lorsque le Status du nœud dans la section Topology passe à In Use, le moteur de stockage columnaire est activé. Dans le coin supérieur droit de la page, cliquez sur Enable ADB Lakehouse.
-
Dans la boîte de dialogue ADB Lakehouse Cluster List, sélectionnez le cluster destination Enterprise, Basic ou Data Lakehouse Edition et cliquez sur OK.
RemarqueUne fois la liaison établie avec succès, le cluster destination Enterprise, Basic ou Data Lakehouse Edition crée automatiquement une tâche de découverte des métadonnées correspondante.
Étape 2 : Effectuer l'analyse des données dans le cluster Enterprise, Basic ou Data Lakehouse Edition
-
Connectez-vous à la console AnalyticDB for MySQL.
Dans le coin supérieur gauche, sélectionnez la région où le cluster est déployé. Dans le volet de navigation de gauche, cliquez sur Clusters puis sur l'ID du cluster cible.
Dans le volet de navigation de gauche, accédez à .
Dans la section Task List, consultez l'état d'exécution de la tâche de découverte des métadonnées générée automatiquement.
-
Une fois la tâche exécutée avec succès (c'est-à-dire lorsque Last Running Status indique Success), accédez à la page pour afficher les bases de données et les tables synchronisées vers le cluster Enterprise, Basic ou Data Lakehouse Edition.
SELECT * FORM test_adb.person;Résultats renvoyés :
+--------+---------+----------+----------+ | id | name | age | city | +--------+---------+----------+----------+ | 1 | 23 | Bob | Hangzhou | +--------+---------+----------+----------+ | 2 | 33 | Make | Wuhan | +--------+---------+----------+----------+