DataWorks:Prise en main d'Operation Center

Prérequis

Créez et publiez un nœud result_table en suivant le guide du flux de travail de développement de données.

Contexte

DataWorks Operation Center prend en charge la maintenance de divers types de tâches, telles que les nœuds déclenchés automatiquement, les tâches manuelles et les tâches de synchronisation en temps réel. Il propose également plusieurs méthodes de surveillance pour les tâches et les ressources utilisées pour leur exécution. Cela vous aide à détecter et gérer rapidement les exceptions via des alertes, garantissant ainsi une production de données efficace et stable.

Accéder à Operation Center

Connectez-vous à la console Operation Center. Basculez vers la région cible, sélectionnez l'espace de travail souhaité dans la liste déroulante, puis cliquez sur Operation CenterOperation Center.

Procédure

Phase 1 : Vérifier un nœud déclenché automatiquement

1. Étape 1 : Afficher la configuration du nœud déclenché automatiquement

   Pour éviter qu'un nœud déclenché automatiquement ne soit planifié de manière inattendue, vérifiez sa configuration, telle que les paramètres de planification et le groupe de ressources de planification, après sa publication. Si la configuration est incorrecte, modifiez-la et republiez le nœud.

2. Étape 2 : Tester le nœud déclenché automatiquement

   Utilisez la fonctionnalité de test de fumée pour vérifier que le nœud déclenché automatiquement s'exécute comme prévu dans l'environnement de production. En cas d'erreur, traitez-la rapidement pour assurer le bon fonctionnement du nœud.

3. Étape 3 : Rétrocompléter les données historiques pour le nœud déclenché automatiquement

   Vous pouvez utiliser la fonctionnalité de rétrocomplétion des données pour recalculer les données historiques.

4. Étape 4 : Afficher les instances récurrentes

   Après la publication d'un nœud déclenché automatiquement, des instances récurrentes sont générées en fonction de son cycle de planification. Si la Méthode de génération d'instanceInstance generation method est définie sur Génération J+1 le lendemainT +1 generated next day dans DataStudio, la tâche est planifiée pour s'exécuter à partir du lendemain. Si le paramètre est défini sur Génération instantanée après publicationInstant generation after publishing, la tâche est planifiée pour s'exécuter le jour même. Vous pouvez afficher l'état de génération et d'exécution des instances récurrentes pour vérifier que la tâche est correctement planifiée.

5. Étape 5 : Afficher les résultats d'exécution

   Après avoir exécuté un test de fumée ou une rétrocomplétion pour un nœud, vous pouvez vérifier que les données ont été écrites correctement.

Phase 2 : Surveiller un nœud déclenché automatiquement

1. Étape 6 : Créer une règle de surveillance personnalisée

   Selon vos besoins métier, vous pouvez configurer des règles de surveillance intelligente pour un nœud déclenché automatiquement afin de surveiller son état de planification et d'exécution, et garantir qu'il continue de s'exécuter comme prévu.

2. Étape 7 : Créer une baseline intelligente (avancé)

   Pour garantir que les tâches prioritaires génèrent des données avant une heure spécifique, vous pouvez configurer une surveillance par baseline intelligente pour ces tâches. Si le système prédit qu'une tâche ne pourra pas être terminée à l'heure engagée, la baseline envoie proactivement une alerte d'exception de tâche. Cela vous aide à recevoir et traiter les exceptions efficacement.

3. Étape 8 : Créer une règle de maintenance automatique pour un groupe de ressources

   Vous pouvez créer des règles de surveillance personnalisées pour un groupe de ressources exclusif afin de surveiller son utilisation et le nombre d'instances en attente sur ce groupe de ressources, et effectuer les opérations de maintenance associées.

Étape 1 : Afficher la configuration du nœud

Pour éviter qu'un nœud déclenché automatiquement ne s'exécute de manière inattendue, vérifiez sa configuration, telle que les paramètres de planification et les dépendances de nœud, après sa publication.

1. Accédez à Operation Center.

2. Recherchez le nœud cible.

   1. Dans le volet de navigation de gauche, choisissez Maintenance des tâches déclenchées automatiquement > Nœud déclenché automatiquementAuto Triggered Task O&M > Auto Triggered Node.

   2. Sur la page Nœud déclenché automatiquementAuto Triggered Node, recherchez le nœud cible.

3. Affichez les détails du nœud.

   1. Cliquez sur le nœud cible pour ouvrir son graphe acyclique dirigé (DAG).

   2. Cliquez sur Afficher les détailsShow Details pour afficher les informations détaillées sur le nœud.

Cet exemple montre comment trouver le nœud result_table publié dans la liste des nœuds déclenchés automatiquement et vérifier si ses Paramètres de planificationScheduling Parameters et Groupe de ressources de planificationScheduling Resource Group sont correctement configurés.

Étape 2 : Tester un nœud déclenché automatiquement

Exécutez un test de fumée pour le nœud déclenché automatiquement afin de vérifier qu'il s'exécute comme prévu dans l'environnement de production. Cette opération exécute la logique de code réelle.

1. Accédez à la page de test de fumée.

   Vous pouvez utiliser l'une des méthodes suivantes :

   • Méthode 1 : Dans la liste des nœuds déclenchés automatiquement, recherchez la tâche cible et cliquez sur TesterTest dans la colonne ActionsActions.

   • Méthode 2 : Dans le DAG du nœud cible, faites un clic droit sur le nœud et sélectionnez TesterTest.

2. Configurez l'horodatage des données et le temps d'exécution pour le test, puis cliquez sur OKOK.

   Lorsque le test de fumée s'exécute, une instance de test est générée. La page Maintenance des tâches déclenchées automatiquement > Instance de testAuto Triggered Task O&M > Test Instance affiche les détails et l'état de l'instance.

   Remarque

   • Pour plus d'informations sur les tests de fumée, consultez Effectuer un test de fumée.

   • Pour plus d'informations sur la consultation d'une instance de test, consultez Exécuter un test et afficher les instances de test.

Cet exemple montre comment tester le nœud result_table pour vérifier s'il s'exécute avec succès. Vous pouvez suivre les étapes indiquées dans la figure pour exécuter le test et afficher l'état d'exécution de l'instance de test générée.

Étape 3 : Rétrocompléter les données historiques

Après le développement et la publication d'un nœud déclenché automatiquement, il s'exécute à intervalles réguliers selon sa configuration. Si vous devez recalculer les données historiques, vous pouvez utiliser la fonctionnalité de rétrocomplétion des données.

1. Accédez à la page de rétrocomplétion des données.

   Vous pouvez utiliser l'une des méthodes suivantes :

   • Méthode 1 : Dans la liste des nœuds déclenchés automatiquement, recherchez la tâche cible et cliquez sur ExécuterRun dans la colonne ActionsActions.

   • Méthode 2 : Dans le DAG du nœud cible, faites un clic droit sur le nœud et sélectionnez ExécuterRun.

2. Sélectionnez un mode de rétrocomplétion des données.

   Vous pouvez sélectionner un mode selon vos besoins :

   Mode	Description	Cas d'utilisation
   Sélection manuelle	Sélectionnez un ou plusieurs nœuds comme nœuds racines. Vous pouvez ensuite sélectionner manuellement leurs nœuds descendants pour la rétrocomplétion des données. Vous pouvez spécifier un sous-ensemble de nœuds descendants. Remarque Ce mode est compatible avec les plans de rétrocomplétion précédents tels que Backfill Data for Current Node, Current and Descendant Nodes Retroactively et Advanced Mode. Un maximum de 500 nœuds racines et 2 000 nœuds au total (nœuds racines et descendants) peuvent faire l'objet d'une rétrocomplétion en une seule opération.	Rétrocomplétion des données par lot pour le nœud actuel et ses nœuds descendants. Sélection flexible d'un lot de nœuds pour la rétrocomplétion des données. Les nœuds n'ont pas besoin d'avoir de dépendances entre eux.
   Sélection par lien	Sélectionnez un nœud de départ comme nœud racine et un ou plusieurs nœuds de fin. Le système analyse automatiquement et inclut tous les nœuds situés entre les nœuds de départ et de fin dans le périmètre de rétrocomplétion, y compris les nœuds de départ et de fin.	Rétrocomplétion des données de bout en bout pour les tâches ayant des dépendances complexes.
   Sélection par espace de travail	Sélectionnez un nœud racine et déterminez le périmètre de rétrocomplétion en fonction des espaces de travail des nœuds descendants. Remarque Ce mode est compatible avec le plan de rétrocomplétion précédent Massive Node Mode. Un maximum de 20 000 nœuds peuvent faire l'objet d'une rétrocomplétion en une seule opération. Les listes noires de tâches ne sont pas prises en charge.	Utilisez ce mode si les nœuds descendants du nœud actuel existent dans plusieurs espaces de travail et que vous devez rétrocompléter les données des nœuds dans ces espaces de travail.
   Nœud spécifié et tous les descendants	Après avoir sélectionné un nœud racine, le système analyse automatiquement et inclut le nœud et tous ses nœuds descendants dans le périmètre de rétrocomplétion. Important Les nœuds déclenchés ne deviennent visibles que lorsque la tâche de rétrocomplétion est en cours d'exécution. Utilisez ce mode avec prudence.	Rétrocomplétez les données pour un nœud racine et tous ses nœuds descendants.

3. Configurez les paramètres de rétrocomplétion des données.

   Configurez les paramètres tels que l'horodatage des données et les nœuds à rétrocompléter en fonction de vos besoins métier. Les paramètres varient selon le mode sélectionné. Pour plus d'informations, consultez Gérer les instances de rétrocomplétion des données.

Cet exemple utilise le mode Rétrocompléter les données du nœud actuelBackfill Data for Current Node pour rétrocompléter les données du nœud result_table pour la plage d'horodatage des données allant de 2024-09-17 à 2024-09-19, pour la période comprise entre 00:00 et 01:00 chaque jour. Pour les étapes de configuration, voir la figure suivante.

Étape 4 : Afficher les instances récurrentes

Après la publication d'un nœud déclenché automatiquement, des instances récurrentes sont générées en fonction de son cycle de planification. Si la Méthode de génération d'instanceInstance generation method est définie sur Génération J+1 le lendemainT +1 generated next day dans DataStudio, la tâche est planifiée pour s'exécuter à partir du lendemain. Si le paramètre est défini sur Génération instantanée après publicationInstant generation after publishing, la tâche est planifiée pour s'exécuter le jour même. Vous pouvez afficher les instances récurrentes générées pour déterminer si la tâche est correctement planifiée et s'exécute correctement.

1. Accédez à la page des instances récurrentes.

   Dans le volet de navigation de gauche d'Operation CenterOperation Center, choisissez Maintenance des tâches déclenchées automatiquement > Instance planifiéeAuto Triggered Task O&M > Scheduled Instance.

2. Affichez les instances récurrentes.

   En fonction de la configuration de planification du nœud déclenché automatiquement, vérifiez que les instances récurrentes correspondantes sont générées et s'exécutent comme prévu. Pour plus d'informations sur les instances récurrentes, consultez Afficher les instances récurrentes.

   Si une instance est dans l'état Non exécuté, effectuez les opérations suivantes :

   1. Utilisez la fonctionnalité Analyse en amontUpstream Analysis dans le panneau DAG pour identifier rapidement la tâche en amont clé qui bloque la tâche actuelle.

   2. Utilisez la fonctionnalité Diagnostic d'exécutionRun Diagnostics pour diagnostiquer pourquoi une tâche en amont clé a échoué ou pour identifier d'autres problèmes. Pour les tâches ayant des chaînes de dépendance profondes, cette fonctionnalité vous aide à localiser rapidement les problèmes et à améliorer l'efficacité de la maintenance.

Cet exemple montre les instances récurrentes générées par le nœud planifié toutes les heures result_table le 2024.09.19.

Étape 5 : Afficher les résultats d'exécution

Étape 6 : Créer une règle de surveillance personnalisée

Après avoir vérifié que le nœud fonctionne comme prévu, vous pouvez créer une règle de surveillance personnalisée pour surveiller son état d'exécution. Lorsqu'une erreur se produit sur le nœud, DataWorks envoie une alerte selon votre configuration. Cela vous permet de détecter et de traiter l'exception en temps opportun pour garantir que le nœud peut être planifié comme prévu.

1. Accédez à Operation Center.

2. Dans le volet de navigation de gauche, choisissez Surveillance et alertes > Gestion des règlesMonitoring and Alerting > Rule Management.

3. Créez une règle personnalisée.

   1. Cliquez sur Créer une règle personnaliséeCreate Custom Rule.

   2. Configurez la règle.

      Vous pouvez créer une règle personnalisée en fonction de vos besoins métier. Pour plus d'informations sur la configuration, consultez Créer une règle de surveillance personnalisée.

      Dans cet exemple, une règle de surveillance est configurée pour envoyer une alerte lorsque le nœud result_table échoue. La figure suivante montre la configuration. Lorsque le nœud result_table échoue, la règle Test rules est déclenchée et une alerte par SMS est envoyée au propriétaire du nœud. Un maximum de trois alertes peuvent être envoyées à des intervalles de 30 minutes.

      Remarque

      Configurez les contacts d'alerte à l'avance. Pour plus d'informations, consultez Afficher et configurer les contacts d'alerte.

Étape 7 : Créer une baseline intelligente (avancé)

Pour garantir qu'une tâche génère des données dans un délai spécifié, vous pouvez configurer une surveillance par baseline pour la tâche. Ajoutez la tâche à une baseline et définissez une priorité et une heure engagée. DataWorks calcule l'heure estimée d'achèvement de la tâche de baseline en fonction de son état d'exécution et permet aux tâches prioritaires d'obtenir préférentiellement des ressources de planification. Si le système prédit que la tâche de baseline ne respectera pas son heure engagée, DataWorks envoie une alerte. Vous pouvez alors traiter l'exception rapidement en fonction de l'alerte.

1. Accédez à Operation Center.

2. Dans le volet de navigation de gauche, cliquez sur Baselines intelligentesIntelligent Baselines.

3. Créez une baseline intelligente.

   1. Sur l'onglet BaselinesBaselines, cliquez sur Créer une baselineCreate Baseline.

   2. Configurez la baseline.

      Vous pouvez configurer la baseline en fonction de vos besoins métier. Pour plus d'informations sur la configuration, consultez Créer une baseline.

      Cet exemple montre comment configurer une baseline horaire pour le nœud result_table afin de surveiller la sortie de données du nœud sur une base horaire. La figure suivante montre la configuration. La description suivante concerne certains des paramètres :

      • PrioritéPriority : Plus la valeur est élevée, plus la priorité est grande. Les tâches prioritaires obtiennent préférentiellement des ressources de planification en cas de contention des ressources.

      • Heure estimée d'achèvementEstimated Completion Time : L'heure estimée d'achèvement est calculée en fonction de l'historique d'achèvement du nœud sur une période donnée.

      • Heure engagée d'achèvementCommitted Completion Time : L'heure limite à laquelle le nœud doit générer des données. Vous pouvez configurer ce paramètre en fonction de vos besoins métier et de l'historique d'achèvement du nœud sur une période donnée.

      • Seuil de marge d'alerteAlert Margin Threshold : Une marge avant l'Heure engagée d'achèvementCommitted Completion Time utilisée pour gérer les exceptions de tâche. Cela garantit que la tâche peut être terminée à l'heure engagée.

        Remarque

        L'intervalle entre la marge d'alerte et l'heure engagée doit être d'au moins 5 minutes.

      Si une instance horaire du nœud result_table ne peut pas être terminée dans les 30 premières minutes de chaque heure, la baseline Test Baselines est déclenchée et une alerte est envoyée par SMS au propriétaire du nœud. Un maximum de trois alertes peuvent être envoyées à des intervalles de 30 minutes.

Étape 8 : Créer une règle de maintenance automatique pour un groupe de ressources

Si vous utilisez un groupe de ressources exclusif pour exécuter des tâches, vous pouvez créer une règle de maintenance automatique pour ce groupe de ressources exclusif en fonction de vos besoins métier. Cela vous permet de définir des alertes de surveillance pour l'utilisation du groupe de ressources et le nombre d'instances en attente sur ce groupe de ressources, et d'effectuer les opérations de maintenance associées.

La fonctionnalité de maintenance automatique fonctionne en associant des règles de surveillance pour un groupe de ressources exclusif, en personnalisant les métriques de surveillance pour les instances s'exécutant sur le groupe de ressources cible et en définissant des règles de maintenance avec une logique métier. Lorsqu'une instance répond aux conditions de filtrage, l'action de maintenance spécifiée est automatiquement déclenchée.

1. Accédez à Operation Center.

2. Créez une règle de surveillance pour le groupe de ressources.

   1. Dans le volet de navigation de gauche, choisissez Surveillance et alertes > Gestion des règlesMonitoring and Alerting > Rule Management.

   2. Créez et configurez une règle de surveillance pour le groupe de ressources.

      La procédure de configuration d'une règle de surveillance pour un groupe de ressources est similaire à celle d'un nœud. Vous devez uniquement définir le Type d'objetObject Type sur Groupe de ressources exclusif pour la planificationExclusive Resource Group for Scheduling. Pour plus d'informations sur la configuration, consultez Créer une règle de surveillance personnalisée.

      Dans cet exemple, l'utilisation des ressources du groupe de ressources Exclusive_Scheduling_Resource est surveillée. La figure suivante montre la configuration.

      Remarque

      Cette rubrique fournit un exemple de configuration à titre de démonstration uniquement. Lors de la configuration, créez une règle de surveillance pour le groupe de ressources que vous utilisez.

      Si l'utilisation des ressources du groupe de ressources Exclusive_Scheduling_Resource dépasse 90 % pendant 10 minutes consécutives, la règle Resource group monitoring rules est déclenchée et une alerte est envoyée par SMS au destinataire. Un maximum de trois alertes peuvent être envoyées.

3. Créez une règle de maintenance automatique basée sur la règle de surveillance du groupe de ressources.

   1. Dans le volet de navigation de gauche, choisissez Assistant de maintenance > Maintenance automatiqueO&M Assistant > Automatic O&M.

   2. Sur l'onglet Gestion des règlesRule Management, cliquez sur Créer une règleCreate Rule.

   3. Configurez la règle.

      Vous pouvez configurer la règle en fonction de vos besoins métier. Pour plus d'informations sur la configuration, consultez Créer une règle de maintenance automatique pour un groupe de ressources.

      Dans cet exemple, une règle nommée Automatic_test est créée et associée à la règle de surveillance Resource group monitoring rules pour le groupe de ressources exclusif de planification. Lorsque la règle Resource group monitoring rules est déclenchée, DataWorks effectue automatiquement une opération de maintenance sur les instances de la règle Automatic_test qui répondent aux conditions de filtrage. La figure suivante montre la configuration. La description suivante concerne certains des paramètres :

      • Règle de surveillance associéeAssociated Monitoring Rule : Actuellement, vous ne pouvez associer qu'une règle de surveillance pour un groupe de ressources exclusif pour la planification. Vous devez créer la règle de surveillance requise pour le groupe de ressources à l'avance.

      • Opération de maintenanceO&M Operation : Actuellement, seule l'option Arrêter l'instance en cours d'exécutionTerminate Running Instance est prise en charge. Après le déclenchement de la règle de maintenance, DataWorks arrête les instances qui répondent aux conditions de filtrage.

      Si l'utilisation des ressources du groupe de ressources exclusif de planification Exclusive_Scheduling_Resource dépasse 90 % pendant 10 minutes consécutives, DataWorks arrête les tâches horaires et minutées ayant une priorité de 1 et s'exécutant sur le groupe de ressources Exclusive_Scheduling_Resource dans l'espace de travail spécifié. Ces tâches peuvent être des instances récurrentes, des instances de test ou des instances de rétrocomplétion des données.

Contrôle des opérations de maintenance (avancé)

Operation Center fournit des points d'extension pour des opérations telles que le gel d'un nœud, le dégel d'un nœud, la rétrocomplétion des données et la mise hors ligne d'un nœud. Vous pouvez utiliser ces points d'extension conjointement avec une extension pour personnaliser la logique des tâches et les opérations de maintenance. Pour plus d'informations, consultez Présentation des extensions et Exemple : Vérifier les événements déclenchés dans Operation Center.

Étapes suivantes

Vous pouvez configurer des règles de surveillance Data Quality pour les données générées par les nœuds afin de garantir que la sortie répond à vos attentes. Pour plus d'informations, consultez Data Quality.