Dans DataWorks, vous créez des tâches de développement de données sous forme de nœuds, chacun encapsulant une tâche pour un moteur de calcul spécifique. DataStudio vous permet également de développer des tâches complexes en utilisant des ressources, des fonctions et divers nœuds de traitement logique. Cette rubrique décrit le flux de travail courant de développement de données.
Prérequis
Les sources de données requises doivent être liées. Pour plus d'informations, consultez la section Préparation au développement de données : Lier une ressource ou un cluster de calcul.
Vous devez disposer du rôle Development. Pour savoir comment accorder les autorisations, consultez la section Ajouter des membres à l'espace de travail et gérer les autorisations de rôle des membres.
Accéder à DataStudio
Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Development.
La procédure suivante explique comment créer et gérer des tâches dans DataStudio.
Flux de travail de développement
L'illustration suivante présente le flux de travail courant de développement de données.
|
Étape |
Description |
Documentation associée |
|
Étape 1 : Créer un flux de travail |
Dans DataWorks, vous organisez toutes les tâches de développement et le code dans des flux de travail. |
|
|
Étape 2 : Créer une table |
DataWorks propose une interface visuelle pour créer et gérer des tables, affichées sous forme de structure arborescente. Avant de commencer le développement de données, créez des tables dans le moteur pour stocker les données brutes et les résultats nettoyés. Le type de table que vous créez dépend de votre cas d'utilisation. |
Créer et utiliser des tables : Afficher et gérer des tables : |
|
Étape 3 : Créer et télécharger une ressource (facultatif) |
Si votre processus de développement nécessite des ressources telles que des fichiers texte ou des packages JAR, téléchargez-les et gérez-les dans DataWorks pour les utiliser avec un moteur de calcul spécifique. Remarque
Les moteurs de calcul et les types de ressources pris en charge sont affichés dans l'interface utilisateur de DataWorks. |
|
|
Étape 4 : Créer un nœud de planification |
Dans DataWorks, les tâches sont encapsulées sous forme de nœuds, chaque type de nœud correspondant à un moteur de calcul spécifique. Sélectionnez le type de nœud qui correspond à votre moteur et à vos besoins métier. DataWorks propose également des opérations de gestion des nœuds, telles que le clonage de nœuds par lots avec des groupes de nœuds et la restauration de nœuds supprimés depuis la corbeille. |
DataWorks prend en charge plusieurs moteurs, notamment : Différents types de nœuds sont disponibles pour différentes tâches dans chaque moteur. Pour obtenir la liste détaillée des types de nœuds pris en charge, consultez la section Types de nœuds pris en charge. Pour plus d'informations sur la gestion des nœuds, consultez les rubriques suivantes : |
|
Étape 5 : Référencer une ressource dans un nœud (facultatif) |
Pour utiliser une ressource dans un nœud, chargez-la d'abord dans l'environnement d'exécution du nœud. |
|
|
Étape 6 : Enregistrer une fonction (facultatif) |
Si votre processus de développement nécessite une fonction, enregistrez-la via l'interface visuelle de DataWorks. Avant d'enregistrer une fonction, téléchargez les ressources requises dans DataWorks. Remarque
Les moteurs de calcul qui prennent en charge l'enregistrement des fonctions sont affichés dans l'interface utilisateur de DataWorks. |
|
|
Étape 7 : Modifier le code du nœud |
Sur la page de l'éditeur de nœuds, écrivez le code métier en utilisant la syntaxe du moteur et de la base de données correspondants. La syntaxe peut varier selon le type de nœud. Remarque
Une fois la modification du code terminée, enregistrez-le rapidement ( |
Pour obtenir la liste détaillée des types de nœuds pris en charge, consultez la section Types de nœuds pris en charge. Notes d'utilisation pour les moteurs courants : |
) pour éviter toute perte de données.Étapes suivantes
Après avoir développé une tâche, effectuez les opérations suivantes selon vos besoins :
Déboguer le code : Exécutez une seule tâche ou un flux de travail entier pour le déboguer. Pour plus d'informations, consultez la section Processus de débogage des tâches.
Configurer la planification : Configurez les propriétés de planification du nœud afin qu'il s'exécute périodiquement. Pour plus d'informations, consultez la section Configurer la planification d'un nœud.
Valider et déployer le nœud : Une fois le développement terminé, validez le nœud dans l'environnement cible pour une exécution planifiée. Si vous utilisez un espace de travail en mode standard, après une validation réussie, vous devez également déployer le nœud en cliquant sur Deploy dans le coin supérieur droit. Pour plus d'informations, consultez la section Déployer un nœud.
Effectuer des opérations d'O&M : Une fois un nœud déployé, il apparaît par défaut dans Operation Center pour l'environnement de production. Accédez à Operation Center pour afficher l'état d'exécution du nœud et effectuer des tâches d'O&M. Pour plus d'informations, consultez la section Présentation d'Operation Center.