DataWorks:Source de données SelectDB

Étape 1 : Vérifier la version de SelectDB

Data Integration impose des exigences concernant la version de SelectDB. Pour plus de détails, consultez la section Versions de SelectDB prises en charge. Dans la console SelectDB, vérifiez si la source répond à ces exigences.

Étape 2 : Créer un compte et configurer les autorisations

Nous vous recommandons de créer un compte SelectDB dédié pour l'accès depuis DataWorks. Si vous utilisez l'utilisateur admin par défaut de l'entrepôt de données SelectDB, définissez un mot de passe pour ce compte.

Étape 3 : Configurer l'accès réseau à SelectDB

SelectDB prend en charge les connexions via réseau privé et réseau public ; Data Integration peut utiliser l'une ou l'autre méthode.

1. Connexion privée : Recommandée pour une bande passante plus élevée et une connectivité plus stable. Commencez par créer un endpoint comme décrit dans la documentation Network configuration. Une fois l'endpoint créé, attendez que son statut passe de Creating à Available et que son état de connexion passe de Connecting... à Connected. Associez ensuite le VPC contenant l'endpoint au VPC contenant le groupe de ressources. Pour obtenir des instructions, consultez la section Solutions de connectivité réseau.

2. Connexion publique : Ajoutez l'adresse EIP du groupe de ressources à la liste d'autorisation de SelectDB. Pour obtenir des instructions, consultez la section Configurer une liste d'autorisation.

Guide de configuration de la synchronisation hors ligne table par table

• Pour la procédure, consultez les sections Configuration sans code et Configuration en mode script.

• Pour obtenir la liste de tous les paramètres du mode script et un exemple de script, consultez la section Annexe : Exemple de script SelectDB et descriptions des paramètres.

Guide de configuration de la synchronisation hors ligne de toute la base de données

• Bases de données sources prises en charge : MySQL et PostgreSQL.

• Pour la procédure, consultez la section Configuration de la synchronisation de bases de données par lots.

Configurer une tâche de synchronisation par lots à l'aide de l'éditeur de code

Si vous souhaitez configurer une tâche de synchronisation par lots à l'aide de l'éditeur de code, configurez les paramètres associés dans le script en respectant le format de script unifié. Pour plus d'informations, consultez la section Configuration en mode script. Les informations suivantes décrivent les paramètres à configurer pour les sources de données lors de la configuration d'une tâche de synchronisation par lots à l'aide de l'éditeur de code.

Exemple de script Writer

{ "stepType": "selectdb",//Plug-in name。 "parameter": { "postSql"://SQL statements to run after the synchronization task。 [], "preSql": [],//SQL statements to run before the synchronization task。 "datasource":"selectdb_datasource",//Data source name。 "table": "selectdb_table_name",//Table name。 "column": [ "id", "table_id", "table_no", "table_name", "table_status" ], "loadProps":{ "format":"csv",//Specify CSV format "column_separator": "\\x01",//Specify the column delimiter "line_delimiter": "\\x02"//Specify the row delimiter } }, "name": "Writer", "category": "writer" }

Paramètres du script Writer

"loadProps": {
        "format": "json",
        "strip_outer_array":true
    }

"loadProps": {
        "format":"csv",
        "column_separator": "\\x01",
        "line_delimiter": "\\x02"
    }