Stratégie de synchronisation des partitions Kafka - Data Transmission Service

Algorithme de hachage

DTS utilise l'algorithme hashCode par défaut de Java pour calculer les valeurs de hachage.

Méthode de configuration

Configurez l'option Policy for Shipping Data to Kafka Partitions à l'étape Configure Objects de votre tâche de synchronisation de données.

Avertissement

Une fois la tâche de synchronisation de données démarrée, ne modifiez pas le nombre de partitions dans la rubrique (topic) de destination. Sinon, la tâche de synchronisation risque d'échouer ou d'entraîner une incohérence des données pour les consommateurs en aval.

Détails de la stratégie

La base de données source est Kafka

Stratégie	Description	Avantages et inconvénients
Ship All Data to Partition 0	Migre toutes les données et les instructions DDL vers la partition 0 de la rubrique de destination.	Avantage : L'ordre de création et de modification de tous les objets est préservé, conformément à la base de données source. Inconvénient : Les performances de migration sont limitées.
Ship Data to Separate Partitions Based on Hash Values of Database and Table Names	Utilise les noms de base de données et de table comme clé de partition pour calculer la valeur de hachage, puis migre les données et les instructions DDL de chaque table vers la partition correspondante de la rubrique de destination. Remarque Les données et les instructions DDL d'une même table sont migrées vers la même partition. Si une instruction DDL n'est pas liée à une table (par exemple, CREATE DATABASE), elle est migrée vers la partition 0.	Avantage : L'ordre de création et de modification de chaque table de destination correspond à celui de la table source, avec de bonnes performances de migration. Inconvénient : Les modifications de données entre différentes tables peuvent être désordonnées après la migration.
Ship Data to Separate Partitions Based on Hash Values of Primary Keys	Utilise une colonne de table comme clé de partition pour calculer la valeur de hachage. Par défaut, la clé primaire est utilisée. Si une table ne possède pas de clé primaire, la clé unique est utilisée. Chaque ligne est migrée vers la partition correspondante de la rubrique de destination. Vous pouvez également spécifier une ou plusieurs colonnes comme clés de partition. Remarque Avec cette stratégie, les instructions DDL sont migrées vers la partition 0 de la rubrique de destination par défaut. Si une table ne possède ni clé primaire ni clé unique, DTS migre les données et les instructions DDL de la table vers la partition 0 de la rubrique de destination.	Avantage : Cette stratégie offre les meilleures performances de migration. Inconvénient : L'ordre de modification de chaque enregistrement est préservé, mais les modifications entre différentes tables ou les tables sans clé primaire peuvent être désordonnées.

La base de données source est Tair/Redis

Nom de la stratégie	Description	Avantages et inconvénients
Ship All Data to Partition 0	Transmet toutes les données et les informations DDL à la partition 0 de la rubrique de destination.	Avantage : L'ordre de création et de modification des objets correspond à celui de la base de données source. Inconvénient : Les performances sont moyennes.
Ship the full data and incremental data of an ApsaraDB for Redis instance to separate partitions	Transmet les données complètes et incrémentielles de l'instance Redis vers différentes partitions de la rubrique de destination.	Avantage : Les données de l'instance Redis sont réparties sur plusieurs partitions. Inconvénient : Les données d'une même clé peuvent apparaître dans différentes partitions. Les performances sont moyennes.
Ship data to separate partitions based on hash values of Redis Keys	Utilise la clé Redis comme clé de partition pour calculer une valeur de hachage, puis transmet les données complètes et incrémentielles vers différentes partitions de la rubrique de destination.	Avantage : Les données de l'instance Redis sont réparties sur plusieurs partitions. Inconvénient : Les données d'une même clé peuvent apparaître dans différentes partitions. Les performances sont moyennes.

La base de données source est une autre base de données

Nom de la stratégie	Description	Avantages et inconvénients
Ship All Data to Partition 0	Transmet toutes les données et les informations DDL à la partition 0 de la rubrique de destination.	Avantage : L'ordre de création et de modification des objets correspond à celui de la base de données source. Inconvénient : Les performances sont moyennes.
Ship Data to Separate Partitions Based on Hash Values of Database and Table Names	Combine le nom de la base de données et le nom de la table comme clé de partition pour calculer une valeur de hachage, puis transmet les données et les informations DDL de chaque table vers différentes partitions de la rubrique de destination. Remarque Les données et les informations DDL d'une même table sont envoyées vers la même partition. Les instructions DDL non liées aux tables (par exemple, CREATE DATABASE) sont envoyées vers la partition 0.	Avantage : L'ordre de création et de modification d'une seule table correspond à celui de la source. Les performances sont bonnes. Inconvénient : L'ordre relatif entre différentes tables ne peut pas être garanti.
Ship Data to Separate Partitions Based on Hash Values of Primary Keys	Utilise les colonnes de table (par défaut, la clé primaire ; si aucune clé primaire n'existe, une clé unique) comme clé de partition pour calculer une valeur de hachage, puis transmet les différentes lignes vers différentes partitions de la rubrique de destination. Vous pouvez également spécifier une ou plusieurs colonnes comme clé de partition. Remarque Avec cette stratégie, les informations DDL sont transmises à la partition 0 par défaut. Si une table ne possède ni clé primaire ni clé unique, DTS transmet ses données et ses informations DDL à la partition 0.	Avantage : Cette stratégie offre les meilleures performances. Inconvénient : Seul l'ordre des modifications pour un seul enregistrement est garanti. L'ordre ne peut pas être garanti pour les tables sans clés primaires ou entre plusieurs tables.