DataWorks:Workflow

Concepts clés

Le workflow est l'unité d'orchestration centrale de DataWorks. Il organise les nœuds de tâches (SQL, Shell, Python, synchronisation de données, Check) en un graphe orienté acyclique (DAG) avec des dépendances claires, permettant une planification et une exécution unifiées. Vous pouvez également combiner les workflows pour prendre en charge des scénarios métier complexes.

En intégrant des tâches distinctes dans un processus structuré, les workflows permettent de passer de la gestion de tâches individuelles à la gestion d'un pipeline de données complet. Principaux avantages :

• Abstraction et visualisation des processus de développement : Encapsulez les nœuds dépendants, tels que les tâches SQL et Shell, dans un workflow orienté métier, comme celui dédié à l'« Analyse des utilisateurs actifs quotidiens ». Cela crée un DAG clair qui met en évidence la lignée technique. Il aide également les parties prenantes non techniques à comprendre le flux de données et aligne les objectifs métier sur la mise en œuvre technique.

• Gestion atomique pour le développement et les opérations : Un workflow sert d'unité minimale pour les modifications et les opérations. Il prend en charge la soumission globale, le déploiement et les tâches d'exploitation telles que les tests, les réexécutions et le remplissage rétroactif des données. Cette approche prévient les problèmes de production susceptibles de résulter de modifications partielles et garantit la cohérence et la stabilité de bout en bout.

• Définition des limites pour la collaboration en équipe : Dans un environnement multi-équipes, un workflow clarifie la propriété et les responsabilités. Par exemple, l'équipe commerciale peut posséder le workflow des données commerciales, tandis que l'équipe produit gère le workflow des données produit. Cela permet l'isolation des autorisations et le suivi des incidents. Des sorties standardisées favorisent également une collaboration efficace et découplée entre les équipes amont et aval.

Comparaison des types de workflow

DataWorks recommande deux types de workflows :

• Workflow planifié : S'exécute automatiquement selon un calendrier fixe (horaire, quotidien, hebdomadaire). Le déclenchement repose sur des règles de planification et l'exécution des nœuds est contrôlée par l'heure planifiée. Adapté au traitement récurrent des données.

• Workflow déclenché par événement : Déclenché à la demande par des signaux externes (opérations manuelles, appels OpenAPI ou messages d'événement). Ne dépend pas d'un calendrier fixe. Prend en charge le déclenchement manuel, par API et par événement. Convient au traitement en temps réel ou à la réponse aux événements externes.

• Un workflow déclenché par événement sans déclencheur lié peut également servir de workflow exécuté manuellement, remplaçant progressivement les workflows manuels.

• Les workflows manuels sont principalement utilisés pour assurer la compatibilité avec l'ancien mode de développement de données. Nous ne recommandons pas leur utilisation pour les nouveaux projets.

Guide de sélection rapide

Répondez aux trois questions suivantes pour déterminer rapidement le type de workflow approprié :

FAQ

Comment obtenir le modèle Spec d'un workflow ?

Ouvrez un workflow existant sur la page Data Studio, puis cliquez sur Show Spec dans le coin supérieur droit du canevas pour afficher et copier le Spec du workflow (au format JSON). Utilisez ce Spec comme modèle pour créer ou mettre à jour des workflows via OpenAPI.

Une tâche planifiée peut-elle s'arrêter automatiquement après une réussite unique ?

Non. Un workflow planifié s'exécute continuellement selon la planification configurée et ne s'arrête pas automatiquement après une exécution réussie. Si vous souhaitez qu'une tâche ne s'exécute qu'une seule fois, utilisez l'une des méthodes suivantes :

• Geler manuellement la tâche : Après la réussite de la tâche, gelez-la manuellement. Une tâche gelée ne participe plus à la planification. Pour plus d'informations, consultez Geler une tâche.

• Utiliser un workflow déclenché par événement : Si votre scénario métier nécessite une seule exécution, un workflow déclenché par événement est plus approprié. Ce type de workflow n'est pas lié à une planification et ne s'exécute que lors d'un déclenchement manuel, d'un appel API ou d'un événement, répondant ainsi intrinsèquement au besoin d'une exécution unique suivie d'un arrêt.

Références

Sélectionnez la documentation pertinente en fonction de votre scénario :

• Pour les scénarios de planification périodique, consultez Workflows planifiés.

• Pour les scénarios pilotés par les événements, consultez Workflows déclenchés par événement.

• Pour la surveillance des opérations, consultez Surveillance des opérations.