Créer un workflow - DataWorks - Centre de documentation Alibaba Cloud

Dans DataWorks, un Workflow vous aide à organiser les tâches de développement de données d'un point de vue métier. Vous pouvez créer un auto triggered workflow pour les tâches nécessitant une planification périodique ou un Manually Triggered Workflows pour les tâches exécutées à la demande. Cette rubrique explique comment créer, concevoir, valider et consulter des workflows, ainsi que modifier ou supprimer des nœuds en masse.

Contexte

Un workspace peut prendre en charge plusieurs types de moteurs de calcul et contenir plusieurs workflows. Un workflow est une collection de divers objets, notamment des nœuds destinés à différents moteurs tels que Data Integration, MaxCompute, Hologres et E-MapReduce (EMR). Il s'agit par exemple des nœuds MaxCompute SQL et des nœuds de table MaxCompute.

Chaque type d'objet possède son propre dossier, dans lequel vous pouvez créer des sous-dossiers. Pour garantir une gestion optimale, nous recommandons de ne pas dépasser quatre niveaux de profondeur pour les sous-dossiers. Si votre structure dépasse ce seuil, envisagez de diviser le workflow en deux workflows plus petits ou davantage. Vous pouvez ensuite regrouper ces workflows connexes au sein d'une solution afin d'améliorer l'efficacité.

Workflows déclenchés automatiquement et manuellement

DataWorks propose deux types de workflows : auto triggered workflow et Manually Triggered Workflows. Ces types répondent aux scénarios d'exécution périodique et à la demande. Vous pouvez développer des tâches pour les deux types de workflows dans DataStudio, puis les valider dans Operation Center pour les exécuter dans l'environnement de production. Le tableau suivant compare ces deux types.

Élément de comparaison	Auto triggered workflow	Manually triggered workflow
Cas d'utilisation	Pour les tâches qui s'exécutent automatiquement selon une planification récurrente.	Pour les tâches déclenchées manuellement à la demande.
Méthode d'exécution	S'exécute automatiquement selon une planification.	Déclenché manuellement.
Points de configuration clés pour le développement des tâches	Vous devez configurer les paramètres de planification périodique, tels que l'heure planifiée et les dépendances entre nœuds.	Étant donné que les tâches sont déclenchées manuellement, vous n'avez pas besoin de configurer les paramètres liés à la planification, tels que les dépendances du nœud parent, les sorties du nœud ou les heures d'exécution planifiées. Remarque À l'exception de ces paramètres de planification, la configuration est identique à celle d'un auto triggered workflow. Les exemples de développement de tâches présentés dans cette rubrique sont basés sur un auto triggered workflow. Les étapes de configuration des paramètres partagés sont les mêmes pour les deux types de workflows.
Comment créer	Dans le volet de navigation de gauche, cliquez sur DataStudio. Sur la page DataStudio, cliquez sur + New dans le coin supérieur droit et sélectionnez New Workflow dans la liste déroulante.	Dans le volet de navigation de gauche, sélectionnez Manually Triggered Workflow. Cliquez sur + New dans le coin supérieur droit et sélectionnez New Workflow dans la liste déroulante.

Remarque

Si vous ne trouvez pas le point d'entrée correspondant dans le volet de navigation de gauche, consultez la rubrique Personnaliser l'affichage des modules dans DataStudio pour configurer les modules affichés dans DataStudio.

Créer un auto triggered workflow

Dans DataStudio, tout le développement s'effectue au sein d'un workflow. Par conséquent, vous devez créer un workflow avant de pouvoir créer un nœud. Avant de créer un workflow, reportez-vous à la section Concevoir un workflow pour planifier un workflow répondant à vos besoins métier. Les étapes suivantes décrivent comment créer un auto triggered workflow.

Accédez à la page DataStudio.

Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur Data Development and O&M > Data Development dans le volet de navigation de gauche. Sélectionnez un workspace dans la liste déroulante et cliquez sur Go to Data Development.
Placez le curseur sur l'icône et cliquez sur Create Workflow.
Dans la boîte de dialogue Create Workflow, saisissez un Workflow Name et une Description.
Cliquez sur Create.

Une fois le workflow créé :

Vous pouvez commencer à développer des tâches sous le moteur correspondant au sein du workflow. Pour obtenir des directives générales de développement, consultez la section Développer la logique métier.
Une fois le développement des tâches terminé, vous pouvez valider le workflow afin de déployer les tâches dans l'environnement de production. Pour plus d'informations, consultez la section Valider un workflow.
Vous pouvez également gérer le workflow depuis différentes pages. Pour plus d'informations, consultez les sections Consulter tous les workflows, Supprimer des nœuds dans un workflow, Copier rapidement un workflow et Importer et exporter rapidement plusieurs workflows vers d'autres workspaces DataWorks ou des moteurs open source.

Concevoir un workflow

Vous effectuez tout le développement de code au sein d'un workflow. Vous pouvez développer des nœuds de deux manières : créer des nœuds à partir de l'arborescence de répertoires en mode liste, ou double-cliquer sur un workflow pour ouvrir son canevas et orchestrer visuellement des tâches multi-moteurs via une interface basée sur un DAG (graphe acyclique dirigé) avec glisser-déposer. DataWorks utilise une structure hiérarchique pour le développement des données : une solution regroupe un ensemble de workflows connexes, et vous pouvez double-cliquer sur un workflow pour ouvrir son canevas de workflow. L'arborescence du workflow contient des catégories telles que Data Integration, DataStudio, table, resource, function, algorithm, Data Service et control, ce qui vous permet d'organiser votre code visuellement. Sur le canevas du workflow, vous pouvez faire glisser des composants de développement (nœuds) pour visualiser et développer votre logique métier. Lors de la conception d'un workflow :

Un grand nombre de nœuds dans un workflow peut dégrader les performances. Nous vous recommandons de limiter un seul workflow à 100 nœuds.

Remarque
Vous pouvez créer un maximum de 1 000 nœuds dans un workflow.
En mode DAG, vous pouvez faire glisser les lignes de dépendance pour configurer les dépendances de planification entre les nœuds. Vous pouvez également ouvrir le panneau de configuration de la planification d'un nœud pour modifier manuellement ses dépendances. Pour plus d'informations, consultez Configurer les dépendances de planification.
Pour les nœuds créés en mode liste, vous pouvez configurer les dépendances de planification en fonction de la lignée de code. Pour plus d'informations, consultez Configurer les dépendances de planification.

Développer la logique métier

DataWorks encapsule les capacités des moteurs, vous permettant de développer des données à l'aide de nœuds de moteur sans interagir avec des lignes de commande complexes. Vous pouvez également utiliser les nœuds polyvalents de la plateforme pour gérer une logique complexe.

Au sein d'un workflow, vous pouvez développer votre logique métier à l'aide de nœuds de synchronisation et de nœuds de moteur de calcul.

Dans le dossier Data Integration, vous pouvez utiliser les nœuds de composant de synchronisation par lots et de synchronisation en temps réel pour synchroniser les données d'une base de données vers une autre.
Vous pouvez nettoyer les données à l'aide de nœuds de développement de données sous le groupe de moteurs correspondant dans le workflow. Il s'agit par exemple d'un nœud ODPS SQL pour le moteur MaxCompute. Si vous devez utiliser des ressources ou des fonctions lors du développement du code, DataWorks vous permet de créer des nœuds de ressource et des nœuds de fonction via une interface visuelle.

Remarque

Pour plus d'informations sur les capacités des moteurs encapsulées par DataWorks et les capacités de développement prises en charge par le produit, consultez DataStudio (Legacy).
Pour obtenir des informations sur les dépendances de planification des nœuds et la configuration des propriétés, consultez Configuration de la planification.

Valider un workflow

Dans un workspace en mode standard, l'interface DataStudio sert d'environnement de développement et de test pour les tâches de nœud. Pour publier votre code dans l'environnement de production, vous devez valider les nœuds du workflow, puis les publier en masse depuis la page de déploiement.

Après avoir conçu et testé le workflow, cliquez sur l'icône dans la barre d'outils.
Dans la boîte de dialogue Submission, sélectionnez les nœuds que vous souhaitez valider, saisissez des Remarks et indiquez si vous souhaitez Ignore I/O Inconsistency Alerts en fonction de vos besoins métier. Si votre contenu d'entrée et de sortie ne correspond pas à l'analyse de la lignée de code et que vous ne sélectionnez pas Ignore I/O Inconsistency Alerts, une alerte est déclenchée. Pour plus d'informations, consultez Une alerte indiquant une incompatibilité entre les E/S et la lignée de code est signalée lors de la validation d'un nœud.
Cliquez sur Submission.

Remarque
Si un nœud a déjà été validé et que son contenu n'a pas changé, il ne peut pas être resélectionné. Dans ce cas, saisissez des Remarks et cliquez sur Submission. Les modifications apportées aux propriétés du nœud sont toujours validées.
Publiez les tâches. Pour plus d'informations, consultez Processus de publication des tâches pour un workspace en mode standard.

Consulter l'historique d'exécution

La page Historique d'exécution dans DataStudio affiche tous les enregistrements d'exécution de tâches pour votre compte au cours des trois derniers jours.

Lorsque vous exécutez une tâche dans DataStudio, celui-ci la soumet au service de moteur correspondant pour exécution. La tâche continue de s'exécuter même si vous fermez accidentellement l'onglet de la tâche. Sur la page Historique d'exécution, vous pouvez consulter les journaux d'exécution ou arrêter une tâche en cours d'exécution.

Consulter tous les workflows

Sur la page Data Studio, faites un clic droit sur Workflow et sélectionnez All Workflows pour afficher tous les workflows du workspace.

Cliquez sur une carte pour accéder au canevas de workflow correspondant. La page affiche une liste de cartes de workflow, incluant un point d'entrée pour New Workflow et des cartes pour les workflows existants.

Gérer les workflows avec des solutions

Vous pouvez regrouper des workflows dans une solution. Les solutions prennent en charge les fonctionnalités suivantes :

Une solution peut contenir plusieurs workflows.
Le même workflow peut être réutilisé dans différentes solutions.
Les solutions regroupées personnalisées offrent une expérience de développement immersive.

Pour gérer les workflows à l'aide de solutions, vous pouvez effectuer les opérations suivantes :

En bas du volet de navigation de gauche sur la page DataStudio, cliquez sur l'icône . Sur la page Configure > Personal Settings, sélectionnez Show Solution dans le module File Management.
Ajoutez des workflows à une solution par lots à l'aide du panneau d'édition de la solution. Faites un clic droit sur le nœud de solution cible, tel que doctest, et cliquez sur Edit.

Supprimer des nœuds dans un workflow

Supprimer des nœuds en masse

Si vous devez modifier les propriétés de planification des tâches, telles que la modification du groupe de ressources utilisé par les tâches, ou soumettre des tâches pour examen en masse, vous pouvez utiliser la fonctionnalité Opération par lot. Cette fonctionnalité vous permet de filtrer et de traiter les nœuds cibles en fonction de critères tels que le type de nœud, le workflow et le groupe de ressources pour la planification.

Remarque

Les opérations par lot modifient les propriétés des tâches uniquement dans l'environnement de développement. Pour appliquer les modifications à l'environnement de production, vous devez accéder à la page de déploiement et les publier une fois l'opération par lot terminée.

Sur la page Data Studio, cliquez sur l'icône à côté de Workflow pour ouvrir la page Tasks. Il s'agit de l'icône Task List, située dans la barre d'outils au-dessus de la zone de recherche.
Modifiez ou supprimez les nœuds cibles.
1. Vous pouvez filtrer les nœuds en fonction de critères tels que node name/ID, Node Type et Workflow.
2. Sélectionnez certains ou tous les nœuds que vous souhaitez traiter.
3. Modifiez ou supprimez les nœuds cibles.
  - Modifier les nœuds cibles : Vous ne pouvez modifier par lot que le propriétaire et le groupe de ressources pour la planification des nœuds cibles. Cliquez sur Change Owner ou Change Resource Group for Scheduling pour apporter des modifications.
    
    Définir le paramètre Forcefully Modify sur Yes dans la boîte de dialogue de modification vous permet de modifier tous les nœuds sélectionnés. Si vous définissez ce paramètre sur No, vous ne pouvez modifier que les nœuds que vous avez verrouillés.
  - Supprimer les nœuds cibles : Cliquez sur More > Delete pour supprimer les nœuds sélectionnés.
    
    Dans la boîte de dialogue Delete Node, définir le paramètre Force deletion sur Yes vous permet de supprimer tous les nœuds sélectionnés. Si vous définissez ce paramètre sur No, vous ne pouvez supprimer que les nœuds que vous avez verrouillés.

Supprimer des nœuds à l'aide de groupes de nœuds

Vous pouvez utiliser les groupes de nœuds pour créer, référencer, diviser et supprimer des groupes de nœuds. Pour plus d'informations, consultez Utiliser des groupes de nœuds.

Copier rapidement un workflow

Vous pouvez utiliser des groupes de nœuds pour regrouper rapidement un workflow dans un groupe de nœuds, puis référencer ce groupe de nœuds dans un nouveau workflow. Pour plus d'informations, consultez Utiliser des groupes de nœuds.

Migrer des workflows

Pour exporter rapidement plusieurs workflows d'un workspace DataWorks et les importer dans un autre, utilisez DataWorks Migration Assistant. Pour plus d'informations, consultez Migration Assistant.