Développez, planifiez et intégrez des tâches PolarDB for PostgreSQL dans DataWorks.
Informations générales
PolarDB for PostgreSQL est un service de base de données relationnelle cloud-native développé par Alibaba Cloud. Il est compatible à 100 % avec PostgreSQL et hautement compatible avec la syntaxe Oracle. PolarDB for PostgreSQL offre une élasticité rapide, des performances élevées, un stockage massif, ainsi qu'une sécurité et une fiabilité optimales. Il prend également en charge Ganos, un moteur d'informations spatio-temporelles multidimensionnel et multimodèle développé par Alibaba Cloud, ainsi que le moteur d'information géographique open source PostGIS. Pour plus d'informations, consultez la rubrique PolarDB for PostgreSQL.
Prérequis
-
Le flux métier a été créé.
Data Studio effectue des opérations de développement spécifiques au moteur en fonction des flux métier. Avant de créer un nœud, créez un flux métier. Pour plus d'informations, consultez la rubrique Créer un flux métier.
-
Une source de données PolarDB for PostgreSQL est requise.
Ajoutez votre base de données PolarDB for PostgreSQL en tant que source de données dans DataWorks. Pour créer une source de données, consultez la rubrique Gérer les sources de données. Pour plus d'informations sur les sources de données PolarDB for PostgreSQL dans DataWorks, consultez la rubrique Sources de données PolarDB.
RemarqueLes nœuds PolarDB for PostgreSQL prennent uniquement en charge les sources de données PolarDB for PostgreSQL créées avec une chaîne de connexion JDBC.
-
Une connexion réseau est établie entre votre source de données et un groupe de ressources.
Assurez-vous que la source de données souhaitée est connectée au groupe de ressources que vous souhaitez utiliser. Pour plus d'informations sur la configuration de la connectivité réseau, consultez la rubrique Établir une connexion réseau entre un groupe de ressources et une source de données.
(Facultatif ; requis pour les utilisateurs Resource Access Management (RAM)) L'utilisateur RAM utilisé pour le développement des tâches a été ajouté à l'espace de travail cible et s'est vu attribuer le rôle Development ou Workspace Administrator (qui accorde des autorisations étendues — à attribuer avec prudence). Pour plus d'informations sur l'ajout de membres et l'attribution d'autorisations, consultez la rubrique Ajouter des membres à un espace de travail.
Limites
Cette fonctionnalité est prise en charge dans les régions suivantes : Chine (Hangzhou), Chine (Shanghai), Chine (Beijing), Chine (Shenzhen), Chine (Chengdu), Chine (Hong Kong), Singapour, Malaisie (Kuala Lumpur), Allemagne (Francfort), États-Unis (Silicon Valley) et États-Unis (Virginie).
Étape 1 : Créer un nœud PolarDB for PostgreSQL
-
Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Development.
Cliquez avec le bouton droit sur le flux de travail cible et choisissez .
Dans la boîte de dialogue Create Node, saisissez un Name pour le nœud et cliquez sur OK. Une fois le nœud créé, développez et configurez la tâche dans le nœud.
Étape 2 : Développer la tâche PolarDB for PostgreSQL
(Facultatif) Sélectionner une source de données PolarDB for PostgreSQL
Si votre espace de travail dispose de plusieurs sources de données PolarDB for PostgreSQL, sélectionnez celle dont vous avez besoin dans la liste déroulante de la page de l'éditeur de nœud. Si une seule source de données existe, elle est sélectionnée par défaut.
Les nœuds PolarDB for MySQL prennent uniquement en charge les sources de données PolarDB for MySQL créées avec une chaîne de connexion Java Database Connectivity (JDBC).
Développer du code SQL : exemple simple
Rédigez du code SQL dans l'éditeur de code du nœud PolarDB for PostgreSQL. Exemple :
SELECT * FROM usertablename;
Développer du code SQL : utiliser des paramètres de planification
DataWorks fournit l'option Scheduling Parameter pour transmettre dynamiquement des valeurs lors de l'exécution planifiée des tâches. Définissez des variables dans votre code en utilisant le format ${nom_variable}, puis cliquez sur Schedule dans le volet de droite et accédez à Scheduling Parameter pour attribuer des valeurs. Pour plus d'informations, consultez les rubriques Formats des paramètres de planification et Configurer et utiliser les paramètres de planification.
Le code suivant fournit un exemple.
SELECT '${var}'; -- You can use a scheduling parameter for the var variable.
Étape 3 : Configurer la planification des tâches
Pour exécuter périodiquement la tâche du nœud, cliquez sur Scheduling sur le côté droit de la page d'édition du nœud et configurez les paramètres de planification selon vos besoins. Pour plus d'informations, consultez la rubrique Vue d'ensemble des propriétés de planification des tâches.
Vous devez configurer l'Rerun attribute et les Parent Nodes du nœud avant de pouvoir le soumettre.
Étape 4 : Tester le code de la tâche
Effectuez les opérations de test suivantes selon vos besoins pour vérifier que la tâche se comporte comme prévu.
-
(Facultatif) Sélectionnez un groupe de ressources et attribuez des valeurs de paramètre personnalisées.
Cliquez sur l'icône
dans la barre d'outils. Dans la boîte de dialogue Parameter, sélectionnez le groupe de ressources de planification pour les tests.Si le code de votre tâche utilise des variables de paramètres de planification, attribuez-leur des valeurs ici pour les tests. Pour plus d'informations sur la logique d'attribution des paramètres, consultez la rubrique Processus de débogage des tâches.
-
Enregistrez et exécutez le code de la tâche.
Cliquez sur l'icône
dans la barre d'outils pour enregistrer le code de votre tâche. Cliquez ensuite sur l'icône
pour exécuter la tâche. -
(Facultatif) Effectuez des tests de fumée.
Pour exécuter des tests de fumée dans l'environnement de développement et vérifier que la tâche planifiée du nœud s'exécute comme prévu, effectuez des tests de fumée pendant ou après la soumission du nœud. Pour plus d'informations, consultez la rubrique Effectuer des tests de fumée.
Étape 5 : Soumettre et publier la tâche
Après avoir configuré la tâche du nœud, soumettez-la et publiez-la. Une fois publiée, le nœud s'exécute périodiquement en fonction de sa configuration de planification.
Cliquez sur l'icône
dans la barre d'outils pour enregistrer le nœud.-
Cliquez sur l'icône
dans la barre d'outils pour soumettre la tâche du nœud.Dans la boîte de dialogue Submission, saisissez une Change Description. Vous pouvez éventuellement choisir si une révision du code est requise après la soumission.
RemarqueVous devez configurer l'Rerun attribute et les Parent Nodes du nœud avant de pouvoir le soumettre.
La révision du code permet de garantir la qualité du code et d'éviter les erreurs causées par la publication directe de code non révisé en production. Si la révision du code est activée, le code du nœud soumis doit être approuvé par les réviseurs avant de pouvoir être publié. Pour plus d'informations, consultez la rubrique Révision du code.
Si vous utilisez un espace de travail en mode standard, après avoir soumis la tâche avec succès, cliquez sur Publish dans le coin supérieur droit de la page d'édition du nœud pour déployer la tâche dans l'environnement de production. Pour plus d'informations, consultez la rubrique Publier une tâche.
Étapes suivantes
Opérations sur les tâches : après la validation et la publication d'une tâche, elle s'exécute périodiquement en fonction de la configuration du nœud. Cliquez sur O&M dans le coin supérieur droit de la page d'édition du nœud pour accéder au Operation Center et afficher l'état de planification et d'exécution de la tâche planifiée. Pour plus d'informations, consultez la rubrique Gestion des tâches planifiées.