DataWorks:Gestion des lignes de base

Contexte

Smart Baseline détecte les anomalies susceptibles d'empêcher les tâches de s'achever dans les délais et envoie des alertes précoces. Cela garantit la production des données importantes selon le calendrier prévu, même dans des scénarios de dépendances complexes. Pour plus d'informations, consultez la rubrique Présentation de Smart Baseline.

Une fois créée et activée, la ligne de base prend effet le lendemain. Accédez ensuite à la page Instances déclenchées automatiquement pour consulter l'état d'exécution de la ligne de base.

Limites

• Exigences de version :

  La gestion des lignes de base est disponible uniquement dans DataWorks Standard Edition et les éditions ultérieures. Si vous utilisez une version antérieure, mettez d'abord à niveau votre instance DataWorks. Pour plus d'informations, consultez la rubrique Fonctionnalités des éditions DataWorks.

• Contrôle des autorisations :

  • Seul un compte Alibaba Cloud ou un utilisateur RAM disposant du rôle d'administrateur d'espace de travail ou d'administrateur de locataire peut créer des lignes de base.

  • Seuls l'administrateur de locataire et le propriétaire de la ligne de base peuvent activer, désactiver, supprimer ou modifier une ligne de base.

  Pour accorder ces autorisations à un utilisateur, attribuez-lui les rôles requis. Pour plus d'informations, consultez la rubrique Ajouter des membres à l'espace de travail et attribuer des rôles.

• Méthodes de notification d'alerte :

  DataWorks prend en charge plusieurs méthodes de notification d'alerte, notamment Email, SMS, phone calls,, DingTalk Chatbot et Webhook. Le tableau suivant décrit les limites de chaque méthode.

  Méthode de notification	Régions disponibles	Éditions disponibles	Description
  SMS	Toutes les régions	Standard Edition et éditions ultérieures.	Pour recevoir des alertes par SMS dans d'autres régions, cliquez sur le lien de l'application pour rejoindre le groupe de discussion « Alibaba Cloud Big Data AI Platform ». Ensuite, scannez le code QR ci-dessous pour rejoindre le groupe DingTalk du produit DataWorks afin d'obtenir de l'aide. Vous pourrez y demander de l'aide au chatbot ou contacter un ingénieur de permanence pendant les heures ouvrables.
  Telephone	Toutes les régions	Toutes les éditions	Les alertes par appel téléphonique sont prises en charge uniquement pour les numéros de téléphone mobile situés en Chine continentale.
  Webhook	Toutes les régions	Basic Edition	Permet d'envoyer des alertes aux groupes DingTalk, Lark et WeCom via des webhooks de groupe.
  		Enterprise Edition	En plus des fonctionnalités de Basic Edition, Enterprise Edition prend en charge les webhooks personnalisés pour la réception d'alertes. Remarque Si vous devez utiliser un webhook personnalisé, consultez la rubrique Webhooks personnalisés pour la surveillance intelligente pour obtenir les détails de configuration. Une fois la configuration terminée, contactez-nous pour toute assistance supplémentaire.

  Remarque

  Pour permettre à un utilisateur RAM de recevoir des alertes par SMS ou par appel téléphonique, ajoutez-le en tant que contact d'alerte sur la page Alert Contacts. Lorsqu'une tâche échoue, DataWorks notifie les contacts associés. Pour plus d'informations, consultez la rubrique Afficher et gérer les contacts d'alerte.

Créer une ligne de base

1. Accédez à la page Operation Center.

Connectez-vous à la console DataWorks. Après avoir sélectionné une région, cliquez sur Data Development and O&M > Operation Center dans le volet de navigation de gauche. Dans la liste déroulante, sélectionnez l'espace de travail souhaité et cliquez sur Operation Center.

2. Dans le volet de navigation de gauche, cliquez sur Task Monitoring > Intelligent Baselines.

3. Créez la ligne de base.

   1. Sous l'onglet Baselines, cliquez sur Create Baseline.

   2. Configurez les propriétés de base de la ligne de base.

      Le tableau suivant décrit les paramètres.

      Paramètre	Description
      Baseline Name	Nom personnalisé de la ligne de base.
      Belongs work space	Sélectionnez l'espace de travail contenant les nœuds que vous souhaitez surveiller. Remarque Lorsque vous configurez le paramètre Nodes, vous ne pouvez sélectionner que des nœuds et des workflows au sein de cet espace Belongs work space.
      Owner	Propriétaire de la ligne de base.
      Baseline Type	Cycle de surveillance de la ligne de base : quotidien ou horaire. Day-level Baseline : Surveille les tâches quotidiennement. Adapté aux tâches planifiées quotidiennes. Hour-level Baseline : Surveille les tâches toutes les heures. Adapté aux tâches planifiées horaires.
      Nodes	Sélectionnez les tâches dont vous souhaitez surveiller le respect des délais. L'ajout d'un nœud à une ligne de base le déplace de sa ligne de base actuelle vers la nouvelle. Node : Saisissez le nom ou l'ID d'un nœud et cliquez sur le bouton Add. Vous pouvez ajouter plusieurs nœuds à la ligne de base. Workflow : Saisissez le nom ou l'ID d'un workflow et cliquez sur le bouton Add. Par défaut, tous les nœuds du workflow sont ajoutés à la ligne de base. Remarque Après avoir sélectionné un workflow, nous vous recommandons d'ajouter uniquement ses nœuds les plus en aval. Une fois ajoutés, la ligne de base inclut automatiquement tous les nœuds en amont qui affectent leur sortie de données dans son périmètre de surveillance. Il n'est pas recommandé d'ajouter tous les nœuds d'un workflow à une ligne de base.
      Priority	Priorité de la ligne de base. Une valeur plus élevée indique une priorité plus grande. Lorsque les ressources de planification sont limitées, les tâches des lignes de base à priorité plus élevée sont planifiées en premier. Ce paramètre s'applique aux instances déclenchées automatiquement générées le lendemain. Remarque Nœuds MaxCompute : La priorité de la ligne de base est mappée à la priorité des jobs de calcul MaxCompute dans les conditions suivantes : La fonctionnalité de priorité est activée pour le projet MaxCompute. Le projet MaxCompute utilise des ressources de calcul par abonnement. Priorité du job MaxCompute = 9 - Priorité de la ligne de base DataWorks. Nœuds EMR : Vous pouvez mapper les priorités des lignes de base aux priorités des files d'attente YARN pour ajuster la priorité finale de la file d'attente YARN d'un nœud. Cela détermine si le nœud peut être planifié et exécuté en priorité. Pour plus d'informations, consultez la rubrique Configurer les mappages entre les priorités des lignes de base et les priorités des files d'attente YARN. Une fois qu'un nœud est ajouté à une ligne de base, sa priorité est définie par cette ligne de base. Cette priorité se propage ensuite à toutes les dépendances en amont du nœud. Si un nœud affecte la sortie de données de plusieurs lignes de base ayant des priorités différentes, la priorité du nœud est déterminée par la priorité la plus élevée parmi ces lignes de base. La priorité de la ligne de base n'affecte pas les nœuds en amont ayant des dépendances inter-cycles.
      Estimated Completion Time	DataWorks calcule l'heure de fin estimée en se fondant sur le temps moyen d'achèvement des tâches de la ligne de base sur une période historique (généralement les 10 derniers jours). Si l'heure de fin estimée est postérieure à l'heure d'alerte, une alerte de ligne de base est déclenchée. Pour plus de détails sur le mécanisme d'alerte, consultez la section Annexe : Mécanisme d'alerte des lignes de base. Remarque S'il n'y a pas suffisamment de données historiques, le système affiche le message suivant : The completion time cannot be estimated due to the lack of historical data.
      Committed Completion Time	Échéance à laquelle les tâches de la ligne de base doivent être achevées. Il s'agit également de l'échéance pour la production des données. La ligne de base utilise cette heure pour calculer l'heure d'alerte. Configurez l'heure de fin engagée en fonction de l'heure de fin estimée. L'heure d'alerte (calculée comme committed finish time - alert margin threshold) doit être postérieure à l'heure de fin estimée des tâches. Remarque La formule de l'heure d'alerte est alert time = committed finish time - alert margin threshold. Une alerte est déclenchée si le système prédit qu'une tâche ne sera pas achevée avant l'alert time. Par exemple, si l'heure de fin engagée est définie sur 3:30 et que le seuil de marge d'alerte est de 10 minutes, l'heure d'alerte est 3:20. Une alerte de ligne de base est envoyée si le système prédit que la tâche ne sera pas terminée à cette heure. Pour une ligne de base horaire, vous devez spécifier quelle instance horaire (c'est-à-dire quel cycle d'exécution spécifique) nécessite une surveillance et définir son heure de fin la plus tardive. Étant donné que les tâches d'une ligne de base peuvent s'exécuter pendant plus de 24 heures, vous pouvez définir l'heure de fin engagée dans une fenêtre de deux jours, de 00:00 à 47:59. Par exemple, si une tâche s'exécute pendant plus d'un jour, vous pouvez définir l'heure sur 36:00.
      Alert Margin Threshold	Détermine combien de temps avant l'heure de fin engagée une alerte est déclenchée. L'heure d'alerte résultante doit être postérieure à l'heure de fin estimée pour éviter des alertes fréquentes et inutiles. Configurez ce seuil en fonction du temps d'exécution des tâches de la ligne de base. Pour plus d'informations, consultez la rubrique Configurer une heure de fin engagée et un seuil de marge d'alerte appropriés.

4. Configurez les alertes pour la ligne de base.

   Les politiques d'alerte incluent les alertes de ligne de base, déclenchées lorsque la production de données est prévue en retard, et les alertes d'événement, déclenchées par des erreurs ou des ralentissements affectant les tâches de la ligne de base ou leurs dépendances. Avant de configurer ces paramètres, nous vous recommandons de consulter le mécanisme d'alerte. Pour plus d'informations, consultez la rubrique Annexe : Mécanisme d'alerte des lignes de base.

   1. Activez les alertes.

      Une fois les alertes activées, DataWorks vérifie les conditions correspondant aux règles d'alerte et envoie des notifications en conséquence.

      • Si le système prédit que les tâches de la ligne de base ne seront pas achevées dans le délai engagé, il envoie une alerte de ligne de base selon la méthode de notification configurée. Pour plus d'informations, consultez la rubrique Logique clé : alertes de ligne de base.

      • Si une tâche de la ligne de base ou ses dépendances en amont rencontrent une erreur, ou si une tâche sur le chemin critique ralentit, le système envoie une alerte d'événement selon la méthode de notification configurée. Vous pouvez afficher la liste des événements existants sur la page Events dans DataWorks. Pour plus d'informations, consultez la rubrique Gérer les événements.

   Remarque

   Si vous désactivez les alertes, la ligne de base ne génère aucune alerte. Toutefois, si la ligne de base est activée, des instances de ligne de base sont toujours générées et le paramètre de priorité reste effectif.

   2. Sélectionnez les méthodes de notification.

      Une fois les alertes activées, sélectionnez les méthodes de notification selon vos besoins. Nous vous recommandons de configurer à la fois les alertes de ligne de base et les alertes d'événement pour les tâches critiques.

      Important

      • Les alertes de ligne de base et d'événement sont déclenchées uniquement pour les instances déclenchées automatiquement dont la date métier correspond à hier ou avant-hier. Les instances en dehors de cette plage ne sont pas surveillées pour les alertes.

      • Si vous ne recevez pas d'alertes, consultez la rubrique Que faire si je ne reçois pas d'alertes après avoir configuré les paramètres d'alerte dans Operation Center ?

      Alerte de ligne de base

      Paramètre	Description
      Enable Alerting	Active ou désactive les alertes pour cette ligne de base. Remarque Si vous désactivez les alertes, la ligne de base ne génère aucune alerte. Toutefois, si la ligne de base est activée, des instances de ligne de base sont toujours générées et le paramètre de priorité reste effectif.
      Alert Notification Method	Prend en charge l'envoi d'alertes par Email, SMS, or Phone call au propriétaire de la ligne de base, à l'ingénieur de permanence selon le planning de rotation ou aux destinataires spécifiés. Pour configurer un planning de rotation, consultez la rubrique Shift schedule. Prend en charge l'envoi d'alertes à d'autres applications telles que DingTalk, WeCom et Lark en utilisant un DingTalk Chatbot ou un Webhook. Pour configurer un chatbot DingTalk, consultez la rubrique Scénario : Envoyer des notifications d'alerte à un groupe DingTalk. Remarque Vous pouvez utiliser Check Contact Information ou Send Test Message pour vérifier que les alertes peuvent être envoyées correctement. Les alertes par appel téléphonique sont disponibles uniquement dans DataWorks Professional Edition et les éditions ultérieures. Si vous sélectionnez les alertes par appel téléphonique, DataWorks limite le débit des appels pour éviter une rafale d'appels sur une courte période. Un utilisateur reçoit au maximum un appel d'alerte dans l'intervalle de réception spécifié, et les appels supplémentaires sont rétrogradés en messages texte. L'intervalle de réception est par défaut de 20 minutes et peut être modifié dans les paramètres de politique d'alerte du locataire de la rubrique Rule management.
      Maximum Alerts	Nombre maximal d'alertes pouvant être envoyées. Une fois cette limite atteinte, aucune autre alerte n'est générée.
      Minimum Alert Interval	Intervalle de temps minimal entre deux alertes consécutives.
      Alerting Do-Not-Disturb Period	Si vous définissez une période de non-dérangement, le système n'envoie pas d'alertes pendant cette période. Par exemple, si la période de non-dérangement pour une tâche est définie de 00:00 à 08:00, les alertes de ligne de base et d'événement ne sont pas déclenchées pendant cette période. Si l'événement est toujours dans un état anormal à 08:00, une alerte est envoyée.

      Alerte d'événement

      Paramètre	Description
      Event Type	Types d'événements qui déclenchent une alerte : Error : Une tâche dans le périmètre de surveillance de la ligne de base échoue. Slow : Une tâche dans le périmètre de surveillance de la ligne de base s'exécute significativement plus longtemps que son temps d'exécution moyen sur une période passée.
      Alert Notification Method	Prend en charge l'envoi d'alertes par Email, SMS, or Phone call au propriétaire de la tâche, à l'ingénieur de permanence selon le planning de rotation ou aux destinataires spécifiés. Pour configurer un planning de rotation, consultez la rubrique Shift schedule. Prend en charge l'envoi d'alertes à d'autres applications telles que DingTalk, WeCom et Lark en utilisant un DingTalk Chatbot ou un Webhook. Pour configurer un chatbot DingTalk, consultez la rubrique Scénario : Envoyer des notifications d'alerte à un groupe DingTalk. Remarque Vous pouvez utiliser Check Contact Information ou Send Test Message pour vérifier que les alertes peuvent être envoyées correctement. Les alertes par appel téléphonique sont disponibles uniquement dans DataWorks Professional Edition et les éditions ultérieures. Si vous sélectionnez les alertes par appel téléphonique, DataWorks limite le débit des appels pour éviter une rafale d'appels sur une courte période. Un utilisateur reçoit au maximum un appel d'alerte dans l'intervalle de réception spécifié, et les appels supplémentaires sont rétrogradés en messages texte. L'intervalle de réception est par défaut de 20 minutes et peut être modifié dans les paramètres de politique d'alerte du locataire de la rubrique Rule management.
      Maximum Alerts	Nombre maximal d'alertes pouvant être envoyées. Une fois cette limite atteinte, aucune autre alerte n'est générée.
      Minimum Alert Interval	Intervalle de temps minimal entre deux alertes consécutives.
      Alerting Do-Not-Disturb Period	Si vous définissez une période de non-dérangement, le système n'envoie pas d'alertes pendant cette période. Par exemple, si la période de non-dérangement pour une tâche est définie de 00:00 à 08:00, les alertes de ligne de base et d'événement ne sont pas déclenchées pendant cette période. Si l'événement est toujours dans un état anormal à 08:00, une alerte est envoyée.

   3. Cliquez sur OK pour créer la ligne de base.

Ajouter des nœuds à une ligne de base

Un nœud ne peut appartenir qu'à une seule ligne de base à la fois. L'ajout d'un nœud déjà présent dans la ligne de base A à la ligne de base B le déplacera vers la ligne de base B.

Vous pouvez ajouter des nœuds à une ligne de base de l'une des deux manières suivantes :

• Accédez à la page Baselines et cliquez sur Create Baseline pour ajouter des nœuds.

• Accédez à la page Auto Triggered Node et choisissez More > Add Baseline pour une tâche spécifique.

  Remarque

  Cette méthode vous permet uniquement de créer une nouvelle ligne de base pour les tâches sélectionnées. Vous ne pouvez pas l'utiliser pour ajouter des tâches à une ligne de base existante.

  • Ajouter un seul nœud à une ligne de base

    Dans la colonne Actions de la tâche déclenchée automatiquement cible, cliquez sur More > Add Baseline.

  • Ajouter plusieurs nœuds à une ligne de base

    Sélectionnez plusieurs tâches déclenchées automatiquement et, dans la barre de menu en bas, cliquez sur Actions > Add Baseline.

Gérer les lignes de base

Sur la page Baselines, filtrez les lignes de base selon des critères tels que Owner, Workspace, Baseline Name et Priority, et effectuez les opérations suivantes :

• Afficher View Details : Consultez les informations de base sur les tâches de la ligne de base.

• Modify Baseline : Modifiez les paramètres de la ligne de base selon vos besoins.

• Afficher View Change Records : Consultez l'historique des modifications de la ligne de base.

• Enable ou Disable Baseline : Contrôle si la ligne de base est active. Une ligne de base activée génère une nouvelle instance de ligne de base quotidiennement. Vous pouvez consulter les détails quotidiens de la ligne de base dans le panneau Baseline Instances.

• Delete Baseline : Supprimez la ligne de base selon vos besoins.

Annexe : Mécanisme d'alerte des lignes de base

L'alerte de ligne de base est un service de notification pour les lignes de base activées et dont les alertes sont activées. Configurez le Alert Margin Threshold et l'Committed Completion Time d'une ligne de base en fonction de son Estimated Completion Time. DataWorks calcule l'heure de fin estimée en se fondant sur le temps d'exécution moyen historique (généralement les 10 derniers jours) des tâches surveillées. Le système surveille ensuite les tâches en fonction de leur état d'exécution réel. Si une tâche de la ligne de base est susceptible de manquer l'heure d'alerte (heure de fin engagée - seuil de marge d'alerte), une alerte de ligne de base est envoyée aux destinataires configurés.

• Politique d'alerte de ligne de base avant l'exécution d'une tâche :

  Remarque

  Avant l'exécution d'une tâche quotidienne, le système de ligne de base calcule le temps moyen d'achèvement des tâches dans son périmètre de surveillance au cours des 10 derniers jours. Si une tâche est susceptible de manquer l'heure d'alerte, une alerte de ligne de base est envoyée immédiatement. Dans les scénarios comportant des dépendances de tâches complexes et fréquemment changeantes, les lignes de base vous aident à détecter les problèmes et à recevoir des avertissements précoces.

  • Si l'heure de fin estimée d'une tâche de la ligne de base, calculée à partir de son temps moyen d'achèvement sur les 10 derniers jours, est postérieure à l'heure d'alerte de la ligne de base, la plateforme déclenche un avertissement de ligne de base. Vous pouvez consulter l'heure de fin estimée calculée sur la page Baselines. Pour plus d'informations, consultez la rubrique Créer une ligne de base.

  • Si l'heure de fin estimée d'une tâche en amont, calculée à partir de son temps moyen d'achèvement sur les 10 derniers jours, est postérieure à l'heure d'alerte de la ligne de base, la plateforme déclenche un avertissement de ligne de base.

• Politique d'alerte de ligne de base pendant l'exécution d'une tâche :

  Un avertissement de ligne de base est déclenché si une tâche de la ligne de base se termine après l'heure d'alerte de la ligne de base.

Étapes suivantes

Après avoir créé une ligne de base, vous pouvez :

• Afficher les instances de ligne de base : Une ligne de base activée génère une instance quotidienne. Consultez les détails d'exécution de la ligne de base sur la page Baseline Instances.

• Nœud EMR : Mappez les priorités des lignes de base aux priorités des files d'attente YARN pour ajuster la priorité finale de la file d'attente YARN d'un nœud EMR, contrôlant ainsi s'il est priorisé pour la planification et l'exécution.

• Afficher les enregistrements d'opération des lignes de base : Consultez l'historique de toutes les opérations effectuées sur vos lignes de base dans Operation Center.