Data Transmission Service:Synchroniser les données d'une instance ApsaraDB RDS for MySQL vers une base de données Doris auto-gérée

Prérequis

Une base de données Doris de destination dont la capacité de stockage est supérieure à l'espace de stockage utilisé par l'instance ApsaraDB RDS for MySQL source a été créée.

Précautions

Facturation

Opérations SQL prises en charge pour la synchronisation incrémentielle

Autorisations requises pour les comptes de base de données

Procédure

1. Accédez à la page de liste des tâches de synchronisation de la région de destination. Vous pouvez utiliser l'une des deux méthodes suivantes :

   Depuis la console DTS

   1. Connectez-vous à la console Data Transmission Service (DTS).

   2. Dans le volet de navigation de gauche, cliquez sur Data Synchronization.

   3. Dans le coin supérieur gauche de la page, sélectionnez la région où se trouve l'instance de synchronisation.

   Depuis la console DMS

   Remarque

   Les opérations réelles peuvent varier en fonction du mode et de la disposition de la console DMS. Pour plus d'informations, consultez les rubriques Mode simple et Personnaliser la disposition et le style de l'interface DMS.

   1. Connectez-vous à Data Management (DMS).

   2. Dans la barre de menu supérieure, choisissez Data + AI > Data Transmission (DTS) > Data Synchronization.

   3. À droite de Data Synchronization Tasks, sélectionnez la région où se trouve l'instance de synchronisation.

2. Cliquez sur Create Task pour accéder à la page de configuration de la tâche.

3. Configurez les bases de données source et de destination.

   Catégorie	Paramètre	Description
   N/A	Task Name	DTS génère automatiquement un nom de tâche. Nous vous recommandons de spécifier un nom descriptif pour faciliter l'identification. Le nom n'a pas besoin d'être unique.
   Source Database	Select Existing Connection	Pour utiliser une instance de base de données qui est ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement. Remarque Dans la console DMS, cet élément de configuration est nommé Select a DMS database instance.. Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
   	Database Type	Sélectionnez MySQL.
   	Access Method	Sélectionnez Alibaba Cloud Instance.
   	Instance Region	Sélectionnez la région de l'instance ApsaraDB RDS for MySQL source.
   	Replicate Data Across Alibaba Cloud Accounts	Cet exemple utilise une instance de base de données appartenant au compte Alibaba Cloud actuel. Sélectionnez No.
   	RDS Instance ID	Sélectionnez l'ID de l'instance ApsaraDB RDS for MySQL source.
   	Database Account	Saisissez le compte de base de données de l'instance ApsaraDB RDS for MySQL source. Pour plus d'informations sur les autorisations requises, consultez la section Autorisations requises pour les comptes de base de données.
   	Database Password	Saisissez le mot de passe correspondant au compte de base de données.
   	Encryption	Sélectionnez Non-encrypted ou SSL-encrypted selon vos besoins. Si vous sélectionnez SSL-encrypted, vous devez activer le chiffrement SSL pour l'instance RDS for MySQL au préalable. Pour plus d'informations, consultez la rubrique Utiliser un certificat cloud pour activer rapidement le chiffrement SSL.
   Destination Database	Select Existing Connection	Pour utiliser une instance de base de données qui est ajoutée au système (nouvellement créée ou enregistrée), sélectionnez l'instance de base de données dans la liste déroulante. Les informations de la base de données sont configurées automatiquement. Remarque Dans la console DMS, cet élément de configuration est nommé Select a DMS database instance.. Si vous n'avez pas ajouté l'instance de base de données au système, ou si vous n'avez pas besoin d'utiliser une instance déjà ajoutée, configurez manuellement les informations de base de données suivantes.
   	Database Type	Sélectionnez Doris.
   	Access Method	Sélectionnez une valeur en fonction de l'emplacement de déploiement de la base de données de destination. Dans cet exemple, Self-managed Database on ECS. Remarque Si vous utilisez une autre méthode pour connecter une base de données autogérée à DTS, vous devez effectuer les préparations correspondantes. Pour plus d'informations, consultez la rubrique Présentation des préparatifs.
   	Instance Region	Sélectionnez la région où réside la base de données Doris de destination.
   	ECS Instance ID	Sélectionnez l'ID de l'instance ECS où réside la base de données Doris de destination. Remarque Si la base de données Doris de destination est déployée sur plusieurs instances ECS (par exemple, les nœuds BE ou FE sont déployés sur d'autres instances ECS), vous devez ajouter manuellement les blocs CIDR de DTS au groupe de sécurité de chacune des autres instances ECS où les nœuds sont déployés.
   	Port Number	Saisissez le port de service de la base de données Doris de destination. Le port par défaut est 9030.
   	Database Account	Saisissez le compte de base de données de la base de données Doris de destination. Pour plus d'informations sur les autorisations requises, consultez la section Autorisations requises pour les comptes de base de données.
   	Database Password	Saisissez le mot de passe correspondant au compte de base de données.

4. Une fois la configuration terminée, cliquez sur Test Connectivity and Proceed en bas de la page. Dans la boîte de dialogue CIDR Blocks of DTS Servers, cliquez sur Test Connectivity.

   Remarque

   Assurez-vous que les blocs CIDR d'adresse IP des serveurs DTS sont ajoutés aux paramètres de sécurité des bases de données source et de destination pour autoriser l'accès depuis les serveurs DTS. Cette opération peut être effectuée automatiquement ou manuellement. Pour plus d'informations, consultez la rubrique Ajouter les blocs CIDR d'adresse IP des serveurs DTS à une liste d'autorisation.

5. Configurez les objets de la tâche.

   1. <!--@p {"id":"ac75493557rk8","data-node="2877258","is-conref":"true"}-->

      Sur la page Configure Objects, configurez les objets à synchroniser.

      Paramètre	Description
      Synchronization Types	Incremental Data Synchronization est sélectionné. Par défaut, vous devez également sélectionner Schema Synchronization et Full Data Synchronization. Une fois la vérification préliminaire terminée, DTS effectue une synchronisation complète des données des objets sélectionnés de l'instance source vers le cluster de destination. Cela sert de données de référence pour la synchronisation incrémentielle des données ultérieure. Important Les types de données sont convertis lors de la synchronisation des données MySQL vers Doris. Si vous ne sélectionnez pas Schema Synchronization, vous devez créer au préalable des tables de modèle Unique ou Duplicate avec le schéma correspondant dans la base de données Doris de destination. Pour plus d'informations, consultez les rubriques Mappages des types de données, Colonnes supplémentaires et Modèle de clé unique.
      Processing Mode of Conflicting Tables	Precheck and Report Errors : DTS vérifie la présence de tables portant le même nom dans la base de données de destination. En cas de conflit, DTS signale une erreur lors de la vérification préliminaire et ne démarre pas la tâche. Remarque S'il n'est pas pratique de supprimer ou de renommer la table conflictuelle, vous pouvez mapper la table à un nom différent. Pour plus d'informations, consultez la rubrique Mapper les noms d'objets. Ignore Errors and Proceed : Ignore la vérification des tables portant le même nom dans la base de données de destination. Avertissement Si vous sélectionnez Ignore Errors and Proceed, une incohérence des données peut se produire. Par exemple : Si les schémas de table sont cohérents, les enregistrements de destination ayant la même clé primaire ou unique que les enregistrements source sont écrasés. Si les schémas de table sont incohérents, la tâche peut échouer ou ne synchroniser que partiellement les données. Procédez avec prudence.
      Capitalization of Object Names in Destination Instance	Vous pouvez configurer la politique de sensibilité à la casse pour les noms d'objets de base de données, de tables et de colonnes qui sont synchronisés vers l'instance de destination. Par défaut, la DTS default policy est sélectionnée. Vous pouvez également choisir d'utiliser les politiques par défaut des bases de données source et de destination. Pour plus d'informations, consultez la rubrique Politique de sensibilité à la casse pour les noms d'objets de destination.
      Source Objects	Dans la zone Source Objects, cliquez sur un objet à synchroniser, puis cliquez sur pour le déplacer vers la zone Selected Objects. Remarque La granularité de sélection des objets à synchroniser est la base de données ou la table.
      Selected Objects	Pour modifier le nom d'un objet de synchronisation dans l'instance de destination, cliquez avec le bouton droit sur l'objet dans la zone Selected Objects. Pour plus d'informations, consultez la rubrique Mapper les noms d'objets. Si vous sélectionnez Schema Synchronization pour Synchronization Types, sélectionnez des tables comme objets de synchronisation et définissez le nombre de buckets (le paramètre bucket_count), cliquez avec le bouton droit sur la table dans la zone Selected Objects. Dans la section Parameter Settings, définissez Enable Parameter Settings sur Yes, spécifiez une Value selon vos besoins, puis cliquez sur OK. Remarque Pour sélectionner les opérations SQL incrémentielles à synchroniser au niveau de la base de données ou de la table, cliquez avec le bouton droit sur l'objet dans la zone Selected Objects et sélectionnez les opérations SQL souhaitées dans la boîte de dialogue qui s'affiche. Pour filtrer les données à l'aide d'une clause WHERE, cliquez avec le bouton droit sur la table dans la zone Selected Objects et définissez les conditions de filtre dans la boîte de dialogue qui s'affiche. Pour plus d'informations, consultez la rubrique Configurer les conditions de filtre. Si vous utilisez la fonctionnalité de mappage de nom d'objet, d'autres objets qui dépendent de l'objet renommé peuvent ne pas être synchronisés.

   2. <!--@p {"id":"86112c83f9ydp","data-node="2877258","is-conref":"true"}-->

      Cliquez sur Next: Advanced Settings pour configurer les paramètres avancés.

      Paramètre	Description
      Dedicated Cluster for Task Scheduling	Par défaut, DTS planifie les tâches sur un cluster partagé et vous n'avez pas besoin de sélectionner un cluster. Pour des performances plus stables, vous pouvez acheter un cluster dédié pour exécuter les tâches de synchronisation DTS. Pour plus d'informations, consultez la rubrique Qu'est-ce qu'un cluster dédié DTS ?.
      Retry Time for Failed Connections	Après le démarrage d'une tâche de synchronisation, si la connexion à la base de données source ou de destination échoue, DTS signale une erreur et commence immédiatement à retenter la connexion. La durée de nouvelle tentative par défaut est de 720 minutes. Vous pouvez également spécifier une durée de nouvelle tentative personnalisée comprise entre 10 et 1 440 minutes. Nous vous recommandons de définir la durée à 30 minutes ou plus. Si DTS se reconnecte avec succès à la base de données dans la durée spécifiée, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue. Remarque Si vous disposez de plusieurs instances DTS (par exemple, l'instance A et l'instance B) qui partagent la même source ou la même destination, et que vous définissez la durée de nouvelle tentative réseau sur 30 minutes pour l'instance A et 60 minutes pour l'instance B, la durée la plus courte de 30 minutes est utilisée pour les deux. Étant donné que DTS facture le temps d'exécution de la tâche pendant la période de nouvelle tentative de connexion, nous vous recommandons de personnaliser la durée de nouvelle tentative en fonction de vos besoins métier ou de libérer l'instance DTS dès que possible après la libération des instances de base de données source et de destination.
      Retry Time for Other Issues	Après le démarrage de la tâche de synchronisation, si d'autres problèmes non liés à la connectivité surviennent avec la base de données source ou de destination (tels que des exceptions d'exécution DDL ou DML), DTS signale une erreur et commence immédiatement des opérations de nouvelle tentative continues. La durée de nouvelle tentative par défaut est de 10 minutes. Vous pouvez également personnaliser la durée de nouvelle tentative dans la plage de 1 à 1 440 minutes. Nous vous recommandons de la définir à 10 minutes ou plus. Si les opérations pertinentes aboutissent dans la durée de nouvelle tentative définie, la tâche de synchronisation reprend automatiquement. Sinon, la tâche échoue. Important La valeur de Retry Time for Other Issues doit être inférieure à celle de Retry Time for Failed Connections.
      Enable Throttling for Full Data Synchronization	Pendant la phase de synchronisation complète, DTS consomme des ressources de lecture et d'écriture des bases de données source et de destination, ce qui peut augmenter la charge de la base de données. Pour réduire la charge sur les bases de données source et de destination, vous pouvez définir une limite de débit pour la tâche de synchronisation complète en configurant les paramètres Queries per second (QPS) to the source database, RPS of Full Data Migration et Data migration speed for full migration (MB/s). Remarque Cet élément de configuration est disponible uniquement lorsque Synchronization Types est défini sur Full Data Synchronization. Vous pouvez également ajuster le taux de synchronisation complète une fois que l'instance de synchronisation est en cours d'exécution.
      Enable Throttling for Incremental Data Synchronization	Vous pouvez également définir une limite de débit pour la tâche de synchronisation incrémentielle. Pour soulager la pression sur la base de données de destination, définissez les paramètres RPS of Incremental Data Synchronization et Data synchronization speed for incremental synchronization (MB/s).
      Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Choisissez d'écrire ou non les informations SQL de pulsation dans la base de données source lorsque l'instance DTS est en cours d'exécution. Yes : Les informations SQL de pulsation ne sont pas écrites dans la base de données source. Cela peut entraîner un retard signalé par l'instance DTS. No : Écrit les informations SQL de pulsation dans la base de données source. Cela peut interférer avec des fonctionnalités telles que la sauvegarde physique et le clonage de la base de données source.
      Environment Tag	Vous pouvez sélectionner un tag d'environnement pour identifier l'instance en fonction de vos besoins métier. Dans cet exemple, aucun tag d'environnement n'est sélectionné.
      Configure ETL	Choisissez d'activer ou non la fonctionnalité extract, transform, and load (ETL). Pour plus d'informations, consultez la rubrique Qu'est-ce que l'ETL ? Valeurs valides : Yes : Active la fonctionnalité ETL. Saisissez les instructions de traitement des données dans l'éditeur de code. Pour plus d'informations, consultez la rubrique Configurer l'ETL dans une tâche de migration ou de synchronisation de données. No : Désactive la fonctionnalité ETL.
      Monitoring and Alerting	Spécifiez si vous souhaitez configurer des alertes. Si la synchronisation échoue ou si la latence dépasse le seuil spécifié, une notification est envoyée à un contact d'alerte. No : Aucune alerte n'est configurée. Yes : Configurez les alertes en définissant un seuil d'alerte et en spécifiant un notification d'alerte. Pour plus d'informations, consultez la rubrique Configurer la surveillance et les alertes lors de la configuration de la tâche.

   3. Facultatif : Après avoir terminé les configurations précédentes, cliquez sur Next: Configure Database and Table Fields pour définir les paramètres Primary Key Column, Distribution Key et Engine pour les tables de destination.

      Remarque

      • Cette étape est disponible uniquement si vous sélectionnez Schema Synchronization pour Synchronization Types lors de la configuration des objets de synchronisation. Vous pouvez définir Definition Status sur All pour modifier les paramètres.

      • Vous pouvez sélectionner plusieurs colonnes pour former une Primary Key Column composite. Vous devez également sélectionner une ou plusieurs colonnes de la Primary Key Column comme Distribution Key.

      • Pour une table sans clé primaire ni contrainte unique, vous devez sélectionner duplicate pour le paramètre Engine. Sinon, la tâche peut échouer ou une perte de données peut se produire.

6. Enregistrez la tâche et exécutez une vérification préliminaire.

   • Pour afficher les paramètres API pour configurer cette instance, placez le curseur sur le bouton Next: Save Task Settings and Precheck et cliquez sur Preview OpenAPI parameters dans la bulle.

   • Si vous avez terminé de consulter les paramètres API, cliquez sur Next: Save Task Settings and Precheck en bas de la page.

   Remarque

   • Avant le démarrage de la tâche de synchronisation, DTS exécute une vérification préliminaire. La tâche ne peut démarrer qu'après la réussite de tous les éléments de vérification.

   • Si la vérification préliminaire échoue, cliquez sur View Details pour l'élément ayant échoué. Corrigez le problème comme indiqué, puis exécutez à nouveau la vérification préliminaire.

   • Si la vérification préliminaire renvoie un avertissement :

     • Si un élément de vérification échoue et ne peut pas être ignoré, cliquez sur View Details à côté de l'élément. Suivez les instructions pour corriger le problème, puis exécutez à nouveau la vérification préliminaire.

     • Pour les éléments de vérification qui peuvent être ignorés, vous pouvez cliquer successivement sur Confirm Alert Details, Ignore, OK et Precheck Again pour ignorer l'avertissement et relancer la vérification préliminaire. Si vous choisissez de masquer l'élément d'avertissement, cela peut entraîner des problèmes tels qu'une incohérence des données et présenter des risques pour votre activité.

7. Achetez l'instance.

   1. Lorsque le Success Rate est de 100 %, cliquez sur Next: Purchase Instance.

   2. Sur la page Purchase, sélectionnez la méthode de facturation et les spécifications de lien pour l'instance de synchronisation de données. Le tableau suivant décrit ces paramètres en détail.

      Catégorie	Paramètre	Description
      New Instance Class	Méthode de facturation	Abonnement : Vous payez lors de la création de l'instance. Cette option convient aux besoins à long terme et est plus rentable que le paiement à l'utilisation. Plus la durée de l'abonnement est longue, plus la remise est importante. Paiement à l'utilisation : Vous êtes facturé sur une base horaire. Cette option convient aux besoins à court terme. Vous pouvez libérer l'instance immédiatement après utilisation pour économiser des coûts.
      	Configuration du groupe de ressources	Le groupe de ressources auquel appartient l'instance. La valeur par défaut est le groupe de ressources par défaut. Pour plus d'informations, consultez la rubrique Qu'est-ce que Resource Management ?.
      	Spécification de lien	DTS propose des spécifications de synchronisation avec différents niveaux de performance. La spécification de lien de synchronisation affecte le taux de synchronisation. Vous pouvez choisir une spécification en fonction de votre scénario métier. Pour plus d'informations, consultez la rubrique Spécifications de lien de synchronisation de données.
      	Durée de l'abonnement	En mode abonnement, sélectionnez la durée et la quantité pour l'instance d'abonnement. Vous pouvez choisir un abonnement mensuel de 1 à 9 mois, ou un abonnement annuel de 1, 2, 3 ou 5 ans. Remarque Cette option est disponible uniquement lorsque la méthode de facturation est Subscription.

   3. Une fois la configuration terminée, lisez et acceptez les Data Transmission Service (Pay-as-you-go) Service Terms.

   4. Cliquez sur Buy and Start. Dans la boîte de dialogue OK, cliquez sur OK.

      Vous pouvez consulter la progression de la tâche sur la page Data Synchronization.

Mappages des types de données

Catégorie	Type de données MySQL	Type de données Doris
Numérique	TINYINT	TINYINT
	TINYINT UNSIGNED	SMALLINT
	SMALLINT	SMALLINT
	SMALLINT UNSIGNED	INT
	MEDIUMINT	INT
	MEDIUMINT UNSIGNED	BIGINT
	INT	INT
	INT UNSIGNED	BIGINT
	BIGINT	BIGINT
	BIGINT UNSIGNED	LARGEINT
	BIT(M)	INT
	Decimal	Decimal Remarque Le remplissage par zéro (zerofill) n'est pas pris en charge.
	Numeric	Decimal
	Float	Float
	Double	DOUBLE
	BOOL BOOLEAN	BOOLEAN
DATE ET HEURE	DATE	DATEV2
	DATETIME[(fsp)]	DATETIMEV2
	Timestamp[(fsp)]	DATETIMEV2
	Time[(fsp)]	VARCHAR
	YEAR[(4)]	INT
CHAÎNE	CHAR VARCHAR	VARCHAR Important Pour éviter toute perte de données, les données CHAR et VARCHAR(n) sont converties en VARCHAR(4*n) après synchronisation vers Doris. Si la longueur des données n'est pas spécifiée, la valeur par défaut de Doris VARCHAR(65533) est utilisée. Si la longueur des données dépasse 65533, les données sont converties en STRING après synchronisation vers Doris.
	BINARY VARBINARY	STRING
	TINYTEXT TEXT MEDIUMTEXT LONGTEXT	STRING
	TINYBLOB BLOB MEDIUMBOLB LONGBLOB	STRING
	ENUM	STRING
	SET	STRING
	JSON	STRING

Colonnes supplémentaires

Remarque

Ce tableau répertorie les colonnes supplémentaires que DTS ajoute automatiquement ou que vous devez ajouter manuellement à la table de modèle dupliqué de destination.

Paramètre	Type	Valeur par défaut	Description
_is_deleted	Int	0	Indique si la ligne est supprimée. Insertion : la valeur est 0. Mise à jour : la valeur est 0. Suppression : la valeur est 1.
_version	Bigint	0	Pour les données issues d'une synchronisation complète, la valeur est 0. Pour les données issues d'une synchronisation incrémentielle, la valeur correspond à l'horodatage de validation (en secondes) de la modification issue du journal binaire (binlog) de la base de données source.
_record_id	Bigint	0	Pour les données issues d'une synchronisation complète, la valeur est 0. Pour les données issues d'une synchronisation incrémentielle, la valeur correspond à l'ID d'enregistrement du journal incrémentiel. Cet ID identifie de manière unique l'entrée de journal. Remarque L'ID est unique et augmente de manière monotone.