DataWorks:Vertica

Informations générales

Vertica est un système de gestion de base de données (SGBD) orienté colonnes haute performance, conçu pour le traitement et l'interrogation rapides de jeux de données à grande échelle. Il est idéal pour l'analyse de big data et les requêtes en temps réel. Pour plus d'informations, consultez le site officiel de Vertica.

Prérequis

• Le flux métier est créé.

  Data Studio effectue les opérations de développement spécifiques au moteur en se basant sur les flux métier. Avant de créer un nœud, créez un flux métier. Pour plus d'informations, consultez la rubrique Créer un flux métier.

• Une source de données Vertica est créée.

  Ajoutez votre base de données Vertica en tant que source de données Vertica dans DataWorks afin d'accéder à ses données. Pour savoir comment créer une source de données, consultez la rubrique Gérer les sources de données. Pour en savoir plus sur l'utilisation d'une source de données Vertica dans DataWorks, consultez la rubrique Source de données Vertica.

  Remarque

  Les nœuds Vertica prennent uniquement en charge les sources de données Vertica créées à l'aide de la méthode de chaîne de connexion JDBC (Java Database Connectivity).

• La connexion réseau entre votre source de données et un groupe de ressources est établie.

  Assurez-vous que la source de données souhaitée est connectée au groupe de ressources que vous souhaitez utiliser. Pour configurer la connectivité réseau, consultez la rubrique Établir une connexion réseau entre un groupe de ressources et une source de données.

• (Facultatif ; requis pour les utilisateurs RAM) L'utilisateur RAM utilisé pour le développement des tâches est ajouté à l'espace de travail cible et dispose du rôle Development ou Workspace Administrator (qui accorde des autorisations étendues ; à attribuer avec prudence). Pour ajouter des membres et accorder des permissions, consultez la rubrique Ajouter des membres à un espace de travail.

Limites

Régions prises en charge : Chine (Hangzhou), Chine (Shanghai), Chine (Beijing), Chine (Shenzhen), Chine (Chengdu), Chine (Hong Kong), Singapour, Malaisie (Kuala Lumpur), Allemagne (Francfort), États-Unis (Silicon Valley) et États-Unis (Virginie).

Étape 1 : Créer un nœud Vertica

1. Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur Data Development and O&M > Data Development dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Development.

2. Cliquez avec le bouton droit sur le workflow cible et choisissez Create Node > Database > Vertica.

3. Dans la boîte de dialogue Create Node, saisissez un Name pour le nœud et cliquez sur OK. Une fois le nœud créé, développez et configurez la tâche dans ce nœud.

Étape 2 : Développer une tâche Vertica

(Facultatif) Sélectionner la source de données Vertica

Si plusieurs sources de données Vertica existent dans votre espace de travail, sélectionnez la source de données appropriée dans l'onglet de configuration du nœud Vertica. Si une seule source de données Vertica existe, elle est utilisée par défaut.

Développer le code SQL : exemple simple

Dans l'éditeur de code du nœud Vertica, rédigez le code SQL de votre tâche. Le code suivant fournit un exemple.

SELECT * FROM usertablename;

Utiliser des paramètres de planification

DataWorks met à disposition des Scheduling Parameter qui permettent de transmettre dynamiquement des valeurs à votre code pour une planification périodique. Définissez des variables dans le code de votre tâche en utilisant le format ${nom_variable}. Ensuite, dans le volet de navigation de droite de la page d'édition du nœud, choisissez Properties > Scheduling Parameter et attribuez des valeurs aux variables. Pour plus d'informations sur les formats pris en charge et sur la configuration des paramètres de planification, consultez les rubriques Formats des paramètres de planification et Configurer et utiliser les paramètres de planification.

Le code suivant fournit un exemple.

SELECT '${var}'; -- Example of using a scheduling parameter.

Étape 3 : Configurer la planification des tâches

Pour exécuter périodiquement la tâche du nœud, cliquez sur Scheduling sur le côté droit de la page d'édition du nœud et configurez les paramètres de planification selon vos besoins. Pour plus d'informations, consultez la rubrique Vue d'ensemble des propriétés de planification des tâches.

Étape 4 : Tester le code de la tâche

Effectuez les opérations de test suivantes selon vos besoins pour vérifier que la tâche se comporte comme prévu.

1. (Facultatif) Sélectionnez un groupe de ressources et attribuez des valeurs de paramètre personnalisées.

   • Cliquez sur l'icône dans la barre d'outils. Dans la boîte de dialogue Parameter, sélectionnez le groupe de ressources de planification pour les tests.

   • Si le code de votre tâche utilise des variables de paramètres de planification, attribuez-leur des valeurs ici pour les tests. Pour plus d'informations sur la logique d'attribution des paramètres, consultez la rubrique Processus de débogage des tâches.

2. Enregistrez et exécutez le code de la tâche.

   Cliquez sur l'icône dans la barre d'outils pour enregistrer le code de votre tâche. Cliquez ensuite sur l'icône pour exécuter la tâche.

3. (Facultatif) Effectuez des tests de fumée.

   Pour effectuer des tests de fumée dans l'environnement de développement et vérifier que la tâche planifiée du nœud s'exécute comme prévu, réalisez ces tests pendant ou après la soumission du nœud. Pour plus d'informations, consultez la rubrique Effectuer des tests de fumée.

Étape 5 : Soumettre et publier la tâche

Après avoir configuré la tâche du nœud, soumettez-la et publiez-la. Une fois publiée, le nœud s'exécute périodiquement en fonction de sa configuration de planification.

1. Cliquez sur l'icône dans la barre d'outils pour enregistrer le nœud.

2. Cliquez sur l'icône dans la barre d'outils pour soumettre la tâche du nœud.

   Dans la boîte de dialogue Submission, saisissez une Change Description. Vous pouvez également choisir si une revue de code est requise après la soumission.

   Remarque

   • Vous devez configurer l'Rerun attribute et les Parent Nodes du nœud avant de pouvoir le soumettre.

   • La revue de code permet de garantir la qualité du code et d'éviter les erreurs causées par la publication directe de code non révisé en production. Si la revue de code est activée, le code du nœud soumis doit être approuvé par les réviseurs avant sa publication. Pour plus d'informations, consultez la rubrique Revue de code.

Si vous utilisez un espace de travail en mode standard, après avoir soumis la tâche avec succès, cliquez sur Publish dans le coin supérieur droit de la page d'édition du nœud pour déployer la tâche dans l'environnement de production. Pour plus d'informations, consultez la rubrique Publier une tâche.

Étapes suivantes

Opérations sur les tâches : une fois qu'une tâche est validée et publiée, elle s'exécute périodiquement en fonction de la configuration du nœud. Cliquez sur O&M dans le coin supérieur droit de la page d'édition du nœud pour accéder au Operation Center et consulter l'état de planification et d'exécution de la tâche planifiée. Pour plus d'informations, consultez la rubrique Gestion des tâches planifiées.