DataWorks:Nœud Redshift

Informations générales

Utilisez Amazon Redshift Serverless pour accéder aux données et les analyser sans configurer un entrepôt de données approvisionné. Pour plus d'informations, consultez la documentation Amazon Redshift.

Prérequis

• Le flux de travail métier est créé.

  Data Studio effectue les opérations de développement spécifiques au moteur en fonction des flux de travail métier. Avant de créer un nœud, créez un flux de travail métier. Pour plus d'informations, consultez la section Créer un flux de travail métier.

• Une source de données Redshift est créée.

  Pour accéder aux données de votre base de données Redshift, ajoutez-la d'abord à DataWorks en tant que source de données Redshift. Pour créer une source de données, consultez la section Gestion des sources de données. Pour plus d'informations sur l'utilisation d'une source de données Redshift dans DataWorks, consultez la section Source de données Amazon Redshift.

  Remarque

  Les nœuds Redshift prennent uniquement en charge les sources de données Redshift créées avec une chaîne de connexion JDBC.

• Une connexion réseau est établie entre votre source de données et un groupe de ressources.

  Assurez-vous que la source de données souhaitée est connectée au groupe de ressources que vous souhaitez utiliser. Pour plus d'informations sur la configuration de la connectivité réseau, consultez la section Établir une connexion réseau entre un groupe de ressources et une source de données.

• (Facultatif ; requis pour les utilisateurs Resource Access Management (RAM)) L'utilisateur RAM utilisé pour le développement des tâches est ajouté à l'espace de travail cible et se voit attribuer le rôle Development ou Workspace Administrator (ce dernier accorde des autorisations étendues ; attribuez-le avec prudence). Pour plus d'informations sur l'ajout de membres et l'attribution d'autorisations, consultez la section Ajouter des membres à un espace de travail.

Limites

Régions prises en charge : Chine (Hangzhou), Chine (Shanghai), Chine (Beijing), Chine (Shenzhen), Chine (Chengdu), Chine (Hong Kong), Japon (Tokyo), Singapour, Malaisie (Kuala Lumpur), Allemagne (Francfort), États-Unis (Silicon Valley) et États-Unis (Virginie).

Étape 1 : Créer un nœud Redshift

1. Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur Data Development and O&M > Data Development dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Development.

2. Cliquez avec le bouton droit sur le flux de travail cible et choisissez Create Node > Database > Redshift.

3. Dans la boîte de dialogue Create Node , saisissez un Name pour le nœud et cliquez sur OK. Une fois le nœud créé, vous pouvez y développer et configurer des tâches.

Étape 2 : Développer une tâche Redshift

(Facultatif) Sélectionner une source de données Redshift

Si plusieurs sources de données Redshift ont été créées dans votre espace de travail, sélectionnez une source de données appropriée sur la page d'édition du nœud Redshift. Si une seule source de données Redshift a été créée, elle est utilisée par défaut pour le développement.

Développer du code SQL : exemple simple

Dans l'éditeur de code du nœud Redshift, écrivez le code de la tâche à exécuter. Le code suivant fournit un exemple :

SELECT * FROM usertablename;

Développer du code SQL : utiliser des paramètres de planification

Le Scheduling Parameter fourni par DataWorks permet une saisie dynamique des paramètres pour le code dans les scénarios de planification périodique. Définissez des variables dans votre code en utilisant le format ${Nom de la variable} dans une tâche de nœud et attribuez une valeur à la variable dans la section Properties > Scheduling Parameter du volet de navigation de droite de la page d'édition du nœud. Pour plus d'informations sur les formats pris en charge et les détails de configuration, consultez les sections Formats pris en charge pour les paramètres de planification et Configurer et utiliser les paramètres de planification.

Le code suivant fournit un exemple.

SELECT '${var}'; -- Can be used with a scheduling parameter.

Étape 3 : Configurer la planification des tâches

Pour exécuter périodiquement la tâche du nœud, cliquez sur Scheduling sur le côté droit de la page d'édition du nœud et configurez les paramètres de planification selon vos besoins. Pour plus d'informations, consultez la section Vue d'ensemble des propriétés de planification des tâches.

Étape 4 : Tester le code de la tâche

Effectuez les opérations de test suivantes selon vos besoins pour vérifier que la tâche se comporte comme prévu.

1. (Facultatif) Sélectionnez un groupe de ressources et attribuez des valeurs de paramètre personnalisées.

   • Cliquez sur l'icône dans la barre d'outils. Dans la boîte de dialogue Parameter , sélectionnez le groupe de ressources de planification pour le test.

   • Si le code de votre tâche utilise des variables de paramètre de planification, attribuez-leur des valeurs ici pour les tests. Pour plus d'informations sur la logique d'attribution des paramètres, consultez la section Processus de débogage des tâches.

2. Enregistrez et exécutez le code de la tâche.

   Cliquez sur l'icône dans la barre d'outils pour enregistrer le code de votre tâche. Cliquez ensuite sur l'icône pour exécuter la tâche.

3. (Facultatif) Effectuez un test de fumée.

   Pour effectuer un test de fumée dans l'environnement de développement et vérifier que la tâche planifiée du nœud s'exécute comme prévu, effectuez un test de fumée pendant ou après la soumission du nœud. Pour plus d'informations, consultez la section Effectuer un test de fumée.

Étape 5 : Soumettre et publier la tâche

Après avoir configuré la tâche du nœud, soumettez-la et publiez-la. Une fois publiée, le nœud s'exécute périodiquement en fonction de sa configuration de planification.

1. Cliquez sur l'icône dans la barre d'outils pour enregistrer le nœud.

2. Cliquez sur l'icône dans la barre d'outils pour soumettre la tâche du nœud.

   Dans la boîte de dialogue Submission , saisissez une Change Description . Indiquez si une revue de code est requise après la soumission.

   Remarque

   • Vous devez configurer l'Rerun attribute du nœud et les Parent Nodes avant de pouvoir soumettre le nœud.

   • La revue de code aide à garantir la qualité du code et empêche les erreurs causées par la publication directe de code non revu en production. Si la revue de code est activée, le code du nœud soumis doit être approuvé par les réviseurs avant de pouvoir être publié. Pour plus d'informations, consultez la section Revue de code.

Si vous utilisez un espace de travail en mode standard, après avoir soumis la tâche avec succès, cliquez sur Publish dans le coin supérieur droit de la page d'édition du nœud pour déployer la tâche dans l'environnement de production. Pour plus d'informations, consultez la section Publier une tâche.

Étapes suivantes

Opérations sur les tâches : Une fois qu'une tâche est validée et publiée, elle s'exécute périodiquement en fonction de la configuration du nœud. Cliquez sur O&M dans le coin supérieur droit de la page d'édition du nœud pour accéder au Operation Center et afficher l'état de planification et d'exécution de la tâche planifiée. Pour plus d'informations, consultez la section Gestion des tâches planifiées.