DataWorks:Nœud PostgreSQL

Informations générales

PostgreSQL est un système de gestion de base de données relationnelle (SGBDR) open source puissant et flexible. Il se caractérise par un modèle de données robuste, une grande évolutivité et stabilité, ainsi qu'un ensemble riche de fonctionnalités principales. Pour plus d'informations, consultez la documentation PostgreSQL.

Prérequis

• Le processus métier a été créé.

  Data Studio effectue les opérations de développement spécifiques au moteur en fonction des flux métier. Avant de créer un nœud, vous devez créer un flux métier. Pour plus d'informations, consultez la rubrique Créer un flux métier.

• Une source de données PostgreSQL a été créée.

  Vous devez d'abord ajouter votre base de données PostgreSQL en tant que source de données PostgreSQL dans DataWorks avant de pouvoir accéder aux données de la base. Pour plus d'informations, consultez la rubrique Source de données PostgreSQL.

  Remarque

  Les nœuds PostgreSQL prennent uniquement en charge les sources de données PostgreSQL créées avec une chaîne de connexion JDBC.

• (Facultatif ; requis pour les utilisateurs Resource Access Management (RAM)) L'utilisateur RAM utilisé pour le développement des tâches a été ajouté à l'espace de travail cible et le rôle Development ou Workspace Administrator lui a été attribué (ce dernier accorde des autorisations étendues ; attribuez-le avec précaution). Pour plus d'informations sur l'ajout de membres et l'attribution d'autorisations, consultez la rubrique Ajouter des membres à un espace de travail.

Limites

Cette fonctionnalité est disponible dans les régions suivantes : Chine (Hangzhou), Chine (Shanghai), Chine (Beijing), Chine (Shenzhen), Chine (Chengdu), Chine (Hong Kong), Singapour, Malaisie (Kuala Lumpur), Allemagne (Francfort), États-Unis (Silicon Valley) et États-Unis (Virginie).

Étape 1 : Créer un nœud PostgreSQL

1. Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur Data Development and O&M > Data Development dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Development.

2. Cliquez avec le bouton droit de la souris sur le workflow cible et choisissez Create Node > Database > POSTGRESQL.

3. Dans la boîte de dialogue Create Node, saisissez un Name pour le nœud et cliquez sur OK. Une fois le nœud créé, vous pouvez développer et configurer la tâche dans l'éditeur du nœud.

Étape 2 : Développer une tâche PostgreSQL

(Facultatif) Sélectionner une source de données PostgreSQL

Si votre espace de travail comporte plusieurs sources de données PostgreSQL, sélectionnez celle dont vous avez besoin sur la page de l'éditeur de nœud. S'il n'existe qu'une seule source de données, DataWorks l'utilise par défaut.

Développer du code SQL : exemple simple

Dans l'éditeur de code du nœud PostgreSQL, rédigez le script SQL de votre tâche. L'exemple suivant montre comment interroger les informations relatives à toutes les tables de base d'une base de données PostgreSQL :

SELECT * FROM information_schema.tables
WHERE table_type = 'BASE TABLE';

Développer du code SQL : Utiliser des paramètres de planification

DataWorks fournit la fonctionnalité Scheduling Parameter pour transmettre dynamiquement des valeurs à votre code dans les jobs planifiés. Vous pouvez définir des variables dans le code de votre tâche en utilisant le format ${nom_variable}. Ensuite, dans le volet droit de l'éditeur de nœud, accédez à Scheduling Settings > Scheduling Parameter pour attribuer une valeur à chaque variable. Pour plus d'informations sur les formats pris en charge et la configuration, consultez les rubriques Formats des paramètres de planification et Configurer et utiliser des paramètres de planification.

Exemple : Interrogation des informations relatives à toutes les tables de base d'une base de données. Définissez la valeur du paramètre a sur BASE_TABLE.

Exemple de code :

SELECT * FROM information_schema.tables
WHERE table_type = '${a}';

Étape 3 : Configurer la planification des tâches

Pour exécuter périodiquement la tâche du nœud, cliquez sur Scheduling à droite de la page d'édition du nœud et configurez les paramètres de planification selon vos besoins. Pour plus d'informations, consultez la rubrique Aperçu des propriétés de planification des tâches.

Étape 4 : Tester le code de la tâche

Effectuez les opérations de test suivantes selon vos besoins pour vérifier que la tâche se comporte comme prévu.

1. (Facultatif) Sélectionnez un groupe de ressources et attribuez des valeurs de paramètre personnalisées.

   • Cliquez sur l'icône dans la barre d'outils. Dans la boîte de dialogue Parameter, sélectionnez le groupe de ressources de planification pour les tests.

   • Si le code de votre tâche utilise des variables de paramètre de planification, attribuez-leur des valeurs ici à des fins de test. Pour plus d'informations sur la logique d'attribution des paramètres, consultez la rubrique Processus de débogage des tâches.

2. Enregistrez et exécutez le code de la tâche.

   Cliquez sur l'icône dans la barre d'outils pour enregistrer le code de votre tâche. Cliquez ensuite sur l'icône pour exécuter la tâche.

3. (Facultatif) Effectuez un test de fumée.

   Pour effectuer un test de fumée dans l'environnement de développement et vérifier que la tâche du nœud planifié s'exécute comme prévu, effectuez un test de fumée pendant ou après la soumission du nœud. Pour plus d'informations, consultez la rubrique Effectuer un test de fumée.

Étape 5 : Soumettre et publier la tâche

Après avoir configuré la tâche du nœud, soumettez-la et publiez-la. Une fois publiée, le nœud s'exécute périodiquement en fonction de sa configuration de planification.

1. Cliquez sur l'icône dans la barre d'outils pour enregistrer le nœud.

2. Cliquez sur l'icône dans la barre d'outils pour soumettre la tâche du nœud.

   Dans la boîte de dialogue Submission, saisissez une Change Description. Vous pouvez également choisir d'exiger une révision du code après la soumission.

   Remarque

   • Vous devez configurer l'Rerun attribute et les Parent Nodes du nœud avant de pouvoir le soumettre.

   • La révision du code permet de garantir la qualité du code et d'éviter les erreurs causées par la publication directe de code non révisé en production. Si la révision du code est activée, le code du nœud soumis doit être approuvé par les réviseurs avant sa publication. Pour plus d'informations, consultez la rubrique Révision du code.

Si vous utilisez un espace de travail en mode standard, après avoir soumis la tâche avec succès, cliquez sur Publish dans le coin supérieur droit de la page d'édition du nœud pour déployer la tâche dans l'environnement de production. Pour plus d'informations, consultez la rubrique Publier une tâche.

Étapes suivantes

Opérations sur les tâches : Une fois une tâche validée et publiée, elle s'exécute périodiquement en fonction de la configuration du nœud. Vous pouvez cliquer sur O&M dans le coin supérieur droit de la page d'édition du nœud pour accéder au centre d'opérations et afficher l'état de planification et d'exécution de la tâche planifiée. Pour plus d'informations, consultez la rubrique Gestion des tâches planifiées.