Les lignes de base intelligentes détectent les anomalies susceptibles d'empêcher l'exécution des tâches dans les délais impartis et envoient des avertissements précoces. Elles garantissent ainsi la production des données importantes selon le calendrier prévu, même en cas de dépendances complexes. Cette approche réduit les coûts de configuration, évite les alertes inutiles et assure une surveillance automatique de toutes les tâches critiques.
Cas d'utilisation
-
Gérer les priorités des tâches.
Lorsque les ressources sont limitées, des conflits de priorité peuvent survenir. Ajoutez les tâches importantes à une ligne de base à haute priorité afin qu'elles bénéficient des ressources en premier.
-
Calculer l'heure estimée d'achèvement d'une tâche.
Ajoutez une tâche à une ligne de base : DataWorks calcule alors son heure estimée d'achèvement quotidien ou horaire en fonction de la disponibilité des ressources et de l'état des tâches ascendantes.
-
Garantir l'achèvement des tâches avant l'heure engagée.
Ajoutez une tâche à une ligne de base et définissez une heure engagée. Si le système prévoit que la tâche ne respectera pas cet engagement, ou si une tâche ascendante échoue ou ralentit, il envoie une alerte pour vous permettre de résoudre le problème rapidement.
Concepts
Ligne de base : Ensemble de tâches importantes associées à une heure d'achèvement engagée. Le système surveille l'état d'exécution et déclenche des alertes lorsque les tâches risquent de manquer cette échéance.
heure engagée : Échéance à laquelle une tâche doit être achevée avec succès, garantissant que ses données de sortie sont prêtes pour la consommation en aval. Pour laisser à votre équipe opérationnelle le temps de gérer les exceptions, définissez un Alert Margin Threshold pour la ligne de base. Le système utilise ensuite la formule
committed time - alert marginpour déterminer l'heure d'alerte, seuil de déclenchement d'une alerte.Tâche de ligne de base : Tâche ajoutée à une ligne de base.
-
Instance de ligne de base : Instantané par exécution utilisé pour calculer l'heure estimée d'achèvement de chaque tâche. Une instance de ligne de base présente l'un des statuts suivants : Safe, Warning ou Breached.
Safe :
Estimated completion time < Alert time.Warning :
Alert time < Estimated completion time < Committed time.Breached :
Estimated completion time > Committed time.
Chemin critique : Chemin présentant la durée d'exécution la plus longue parmi tous les chemins affectant une tâche de ligne de base.
Événement : Généré lorsqu'une tâche de ligne de base ou sa tâche ascendante échoue, ou lorsqu'une tâche située sur le chemin critique ralentit. Les événements peuvent retarder l'achèvement des tâches de ligne de base.
Fonctionnement
Lorsque vous ajoutez des tâches à une ligne de base, DataWorks alloue les ressources en fonction de la priorité de la ligne de base et détermine le périmètre de surveillance à partir des dépendances entre les tâches. Les alertes sont déclenchées par l'état d'exécution réel des tâches au sein de ce périmètre.
Le périmètre de surveillance est déterminé à partir d'une tâche de ligne de base K.
Nœuds ascendants de la tâche de ligne de base : Tous les nœuds affectant la sortie de la tâche K sont inclus dans le périmètre de surveillance :
Nœuds descendants de la tâche de ligne de base : Ils ne font pas partie du périmètre de surveillance :
Chemin critique : Chemin le plus long parmi tous ceux qui affectent la tâche K :
-
Créez une ligne de base :
Spécifiez la tâche K à ajouter à la ligne de base.
Définissez les paramètres de priorité de la ligne de base et de politique d'alerte.
Une alerte de ligne de base ou une alerte d'événement est déclenchée en fonction de l'état d'exécution réel des tâches au sein du périmètre de surveillance.
La ligne de base intelligente offre les fonctionnalités suivantes :
-
Créer et gérer des lignes de base.
La page Baselines vous permet de créer et de gérer des lignes de base :
Ajoutez les tâches nécessitant une prise en charge lors d'événements majeurs à une ligne de base, définissez l'heure engagée et configurez les politiques d'alerte (méthode et destinataires). Le système surveille les tâches et envoie des alertes conformément à ces paramètres.
-
Définissez une priorité de ligne de base pour contrôler l'ordre d'exécution des tâches. Les lignes de base à priorité plus élevée reçoivent les ressources en premier lorsque les ressources de planification sont limitées.
Remarque-
Cette priorité est mappée à la priorité d'une tâche de calcul MaxCompute si les deux conditions suivantes sont remplies :
La fonctionnalité de priorité est activée pour le projet MaxCompute.
Le projet MaxCompute utilise des ressources de calcul par abonnement.
Priorité du job MaxCompute = 9 - Priorité de la ligne de base DataWorks.
-
-
Déterminer le périmètre de surveillance.
DataWorks détermine le périmètre de surveillance en fonction des dépendances entre les tâches et surveille toutes les tâches susceptibles d'affecter la sortie des données de la ligne de base.Logique principale : Périmètre de surveillance.
-
Déclencher et envoyer des alertes
-
Alertes de ligne de base.
DataWorks déclenche automatiquement des alertes en fonction de la politique d'alerte configurée et de l'état d'exécution réel des tâches, en envoyant des messages d'alerte aux destinataires spécifiés en temps réel. Si le système prévoit qu'une tâche de ligne de base ne peut pas être achevée avant l'heure engagée, il envoie une alerte de ligne de base. Logique principale : Alertes de ligne de base.
-
Alertes d'événement.
Une fois le périmètre de surveillance déterminé, si une tâche de ligne de base ou ses tâches en amont échouent, ou si une tâche du chemin critique ralentit, le système génère un événement et envoie une alerte. Consultez les événements sur la page Events de DataWorks. Gestion des événements.
-
Facturation
Nombre d'instances de ligne de base : Toutes les lignes de base activées génèrent des instances de ligne de base. DataWorks facture en fonction des instances générées à 23 h 59 chaque jour. Facturation des instances de ligne de base intelligente.
Nombre de SMS et d'appels téléphoniques d'alerte : Les alertes de ligne de base entraînent des frais pour les SMS et les appels téléphoniques. Facturation des SMS et appels téléphoniques d'alerte.
Limites
Seules les éditions DataWorks Standard et supérieures prennent en charge les lignes de base intelligentes. Effectuez une mise à niveau si vous utilisez une édition antérieure. Fonctionnalités des différentes éditions de DataWorks.
Logique principale : Périmètre de surveillance
La ligne de base intelligente surveille les tâches en amont qui affectent la sortie des données, et non l'ensemble des tâches en amont et en aval. Le périmètre de surveillance comprend :
Tâches en amont : Les tâches qui affectent la sortie des données de la tâche de ligne de base sont surveillées.
Tâches en aval : Non surveillées. Aucune alerte n'est déclenchée si une tâche en aval de la tâche de ligne de base ou une tâche située sur une autre branche ascendante échoue.
Comme illustré dans la figure précédente, supposons qu'il existe six nœuds de tâche. Les tâches D et E sont des tâches de ligne de base. Les tâches A et B affectent leur sortie de données ; par conséquent, A, B, D et E sont toutes surveillées. Si l'une de ces tâches échoue ou ralentit, la ligne de base intelligente le détecte. Les tâches C et F se trouvent en dehors du périmètre de surveillance.
Logique principale : Alertes de ligne de base
Ajoutez des tâches importantes à une ligne de base et définissez l'Committed Completion Time ainsi que l'Alert Margin Threshold. Ensuite :
DataWorks utilise la formule
committed time - alert marginpour calculer l'Alerting Time. Puis, en se basant sur la durée d'exécution moyenne historique des tâches au sein du périmètre de surveillance, DataWorks utilise les Baseline Instances pour déduire les dernières heures d'achèvement et de démarrage pour chaque tâche du périmètre.Pendant l'exécution, si l'état d'une tâche laisse penser qu'une tâche de ligne de base ne sera pas achevée avant l'Alerting Time, DataWorks déclenche une alerte de ligne de base.
Logique principale : Alertes d'événement
Lorsqu'une tâche surveillée devient anormale, le système génère un événement et déclenche une alerte. Les conditions anormales incluent :
Error : L'exécution de la tâche échoue.
Slow : La durée d'exécution actuelle de la tâche dépasse significativement sa moyenne historique.
Un événement de ralentissement se déclenche lorsque la durée d'exécution d'une tâche dépasse 30 minutes et excède d'au moins 15 minutes sa moyenne historique.
Si la même tâche ralentit d'abord puis échoue, deux événements sont générés.
Consultez les détails des événements sur la page Gestion des événements.
Logique principale : Chemin critique et instances critiques
Les dépendances entre les tâches d'une ligne de base peuvent être complexes. DataWorks fournit un diagramme de Gantt pour vous aider à identifier le chemin critique et les instances critiques qui bloquent la sortie des données. Le chemin critique correspond au chemin dont la durée d'exécution est la plus longue parmi tous ceux qui affectent la sortie d'une tâche de ligne de base.
Exemple
Scénario : L'heure actuelle est 6 h 40 et la tâche F est toujours en cours d'exécution.
-
Avertissement de ligne de base :
AAAA-MM-JJ HH:mm:ss
Avertissement de la ligne de base XX, heure métier XX, marge : -10 min...
-
Alerte d'événement :
AAAA-MM-JJ HH:mm:ss
Rappel d'événement, heure métier XX, tâche XX, statut : Retardé...
Un diagramme de Gantt affiche le chemin d'exécution critique d'une tâche cible. Le chemin critique et l'heure de détection des exceptions pour l'exemple précédent :