DataWorks:DRDS (PolarDB-X 1.0)

Prise en main

Pour commencer à synchroniser des données avec DRDS (PolarDB-X 1.0), effectuez les étapes suivantes dans l'ordre :

1. Créez un compte de base de données disposant de l'autorisation replace into. Consultez la section Prérequis.

2. Ajoutez DRDS (PolarDB-X 1.0) en tant que source de données dans DataWorks. Consultez la section Ajouter une source de données.

3. Configurez et exécutez une tâche de synchronisation. Consultez la section Développer une tâche de synchronisation des données.

Prérequis

Avant de commencer, assurez-vous que :

• Vous disposez d'un compte de base de données DRDS (PolarDB-X 1.0) avec l'autorisation replace into. Pour obtenir les instructions de configuration, consultez Créer un compte.

Limitations

Types de champs pris en charge

DRDS (PolarDB-X 1.0) Reader et Writer prennent en charge la plupart des types de données. Vérifiez que vos types de données figurent dans la liste suivante avant de configurer une tâche de synchronisation.

Ajouter une source de données

Avant de développer une tâche de synchronisation dans DataWorks, ajoutez DRDS (PolarDB-X 1.0) en tant que source de données. Suivez les instructions fournies dans la documentation sur la gestion des sources de données. Les descriptions des paramètres sont disponibles dans la console DataWorks lorsque vous ajoutez la source de données.

Développer une tâche de synchronisation des données

FAQ

Pourquoi DRDS (PolarDB-X 1.0) Reader ne peut-il pas garantir la cohérence des données entre les shards ?

DRDS (PolarDB-X 1.0) est une base de données distribuée. Lorsque le Reader extrait des données de différentes tables sous-jacentes fragmentées, il capture des instantanés à différents moments, et non à partir d'un seul instantané temporel cohérent. Une forte cohérence entre les bases de données et les tables fragmentées ne peut pas être garantie.

Comment l'encodage affecte-t-il la synchronisation des données ?

DRDS (PolarDB-X 1.0) prend en charge les paramètres d'encodage aux niveaux du champ, de la table, de la base de données et de l'instance. La priorité des paramètres d'encodage, de la plus élevée à la plus faible, est la suivante : champ, table, base de données, puis instance. Définissez l'encodage sur UTF-8 au niveau de la base de données pour éviter tout problème.

DRDS (PolarDB-X 1.0) Reader utilise JDBC pour l'extraction des données, ce qui gère automatiquement la conversion de l'encodage. Toutefois, si l'encodage utilisé lors de l'écriture des données dans la couche inférieure diffère de l'encodage déclaré, le Reader ne peut pas détecter cette incohérence et le résultat de la synchronisation peut contenir des caractères illisibles.

Comment configurer la synchronisation incrémentielle des données ?

DRDS (PolarDB-X 1.0) Reader utilise des instructions SELECT JDBC pour l'extraction des données. Utilisez une clause WHERE pour filtrer uniquement les enregistrements ajoutés ou modifiés depuis la dernière synchronisation :

• Basé sur l'horodatage : Si votre application écrit un champ modify avec un horodatage de modification pour chaque enregistrement (couvrant les ajouts, les mises à jour ou les suppressions logiques), ajoutez une clause WHERE utilisant l'horodatage de la dernière exécution de synchronisation.

• Basé sur l'ID auto-incrémentiel : Pour les flux de données en ajout seul, ajoutez une clause WHERE utilisant l'ID auto-incrémentiel maximal de la synchronisation précédente.

Si vos données ne comportent aucun champ permettant de distinguer les nouveaux enregistrements ou les enregistrements modifiés des enregistrements existants, le Reader ne peut pas prendre en charge l'extraction incrémentielle ; seule la synchronisation complète des données est disponible.

Annexe : Démo de script et paramètres

Pour configurer une tâche de synchronisation par lots à l'aide de l'éditeur de code, suivez le format de script unifié décrit dans la rubrique Configurer une tâche dans l'éditeur de code. Les sections suivantes décrivent les paramètres et fournissent des exemples de scripts.

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "drds",
            "parameter": {
                "datasource": "",
                "column": [
                    "id",
                    "name"
                ],
                "where": "",
                "table": "",
                "splitPk": ""
            },
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "stream",
            "parameter": {},
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": "0"
        },
        "speed": {
            "throttle": true,
            "concurrent": 1,
            "mbps": "12"
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}

{
    "type": "job",
    "version": "2.0",
    "steps": [
        {
            "stepType": "stream",
            "parameter": {},
            "name": "Reader",
            "category": "reader"
        },
        {
            "stepType": "drds",
            "parameter": {
                "postSql": [],
                "datasource": "",
                "column": [
                    "id"
                ],
                "writeMode": "insert ignore",
                "batchSize": "1024",
                "table": "test",
                "preSql": []
            },
            "name": "Writer",
            "category": "writer"
        }
    ],
    "setting": {
        "errorLimit": {
            "record": "0"
        },
        "speed": {
            "throttle": true,
            "concurrent": 1,
            "mbps": "12"
        }
    },
    "order": {
        "hops": [
            {
                "from": "Reader",
                "to": "Writer"
            }
        ]
    }
}