DataWorks:Opérations sur les tâches de synchronisation par lots

Vue d'ensemble

• L'exploitation et la maintenance (O&M) des tâches de synchronisation par lots suivent les mêmes principes que celles des autres tâches planifiées. Cette rubrique utilise la synchronisation par lots comme exemple. Pour plus d'informations sur l'O&M des tâches planifiées, consultez la section Effectuer des opérations de base d'O&M sur les tâches planifiées.

• Les Workspaces en mode standard prennent en charge l'isolation des environnements de source de données. Une source de données portant le même nom peut disposer de deux configurations distinctes, l'une pour l'environnement de développement et l'autre pour l'environnement de production. Vous pouvez configurer deux bases de données ou instances différentes. Cette approche isole les opérations sur les données lors des tests et de la planification en production, ce qui garantit la sécurité de vos données de production.

Accéder à Operation Center

Connectez-vous à la console DataWorks, sélectionnez la région cible, puis dans le volet de navigation de gauche, cliquez sur Operation Center > Auto Triggered Task O&M > Auto Triggered Task. Sélectionnez votre workspace dans la liste déroulante, puis cliquez sur Operation Center.

Planifier et gérer les tâches

La synchronisation par lots s'appuie sur les puissantes capacités de planification de DataWorks pour exécuter automatiquement les tâches de manière récurrente. Grâce aux paramètres de planification de DataWorks, vous pouvez écrire des données incrémentielles et complètes dans des partitions spécifiques d'une table de destination. L'exploitation et la maintenance des tâches de synchronisation par lots sont identiques à celles des autres tâches planifiées. Elles peuvent être exécutées manuellement ou déclenchées automatiquement selon une planification définie.

Synchroniser les données historiques

En combinant les paramètres de planification de DataWorks avec la fonctionnalité de remplissage des données, vous pouvez synchroniser par lot les données historiques vers une table ou une partition spécifiée dans la base de données ou l'entrepôt de données de destination, à partir d'une configuration de tâche unique. Si votre tâche est configurée pour une synchronisation incrémentielle et que vous devez synchroniser des données historiques vers les partitions correspondantes de la table de destination, utilisez la fonctionnalité de remplissage des données. Les paramètres de planification sont automatiquement remplacés par des valeurs spécifiques en fonction de la date métier configurée pour l'opération de remplissage. Pour plus d'informations sur cette fonctionnalité, consultez la section Remplir les données.

Surveiller l'état des tâches

Accédez à Operation Center > Intelligent Monitoring pour configurer des règles de surveillance permettant de contrôler l'état d'exécution des tâches, notamment les statuts terminé, incomplet, erreur et délai dépassé. Pour plus d'informations, consultez la section Configurer des règles de surveillance.

Opérations sur les groupes de ressources

• Surveillance des groupes de ressources : surveillez l'utilisation des groupes de ressources employés par les tâches dans Operation Center. Pour plus d'informations, consultez la section Surveiller les groupes de ressources.

• Changement de groupe de ressources : modifiez le groupe de ressources utilisé par les tâches de plusieurs façons.

  Remarque

  Avant de changer de groupe de ressources, assurez-vous que le groupe de ressources cible est connecté au réseau de la source de données afin d'éviter les échecs d'exécution des tâches dus à des problèmes de connectivité réseau.

  Environnement	Opérations de changement prises en charge	Point d'entrée
  Changer le groupe de ressources de l'environnement de production	Changement par lot	Accédez à la page Operation Center > Auto Triggered Task pour configurer les paramètres. Sélectionnez les tâches dont vous souhaitez modifier le groupe de ressources, puis cliquez sur Change Resource Group for Data Integration dans la barre d'outils inférieure pour effectuer le changement par lot.
  Changer le groupe de ressources de l'environnement de développement Remarque Après avoir changé le groupe de ressources dans l'environnement de développement, soumettez et déployez à nouveau la tâche dans l'environnement de production.	Changement pour une seule tâche Changement par lot	Accédez à la page DataStudio pour configurer les paramètres. Changement pour une seule tâche Accédez à la page d'édition du nœud cible et modifiez le groupe de ressources dans la section des ressources. Dans la section Ressource, définissez Groupe de ressources sur dwGroup (10 UC, abonnement) et définissez Utilisation des ressources (UC) sur 1 CU. Cliquez sur Test de connectivité et vérifiez que les sources Source et Destination MaxCompute (ODPS) indiquent toutes deux Connecté. Changement par lot Cliquez sur l'icône , sélectionnez les tâches dont vous souhaitez modifier le groupe de ressources, puis cliquez sur Change Resource Group for Data Integration dans la barre d'outils inférieure pour effectuer le changement par lot.

Surveiller la qualité des données des tables

Certaines sources de données de destination dans Data Integration prennent en charge la surveillance de la qualité des données pour les tables de sortie. Accédez à la page des règles de qualité des données pour configurer des règles de qualité applicables aux tables de destination vers lesquelles les données sont écrites. Pour les tables disposant de règles de surveillance de la qualité des données, des contrôles de qualité sont déclenchés une fois que le nœud planifié associé a terminé son exécution (logique du code du nœud). La plateforme DataWorks détermine si la tâche doit s'arrêter en raison d'un échec du contrôle de règle de qualité, en fonction du type de règle (règle forte ou règle faible) et du résultat du contrôle. Un échec de règle forte bloque l'exécution des nœuds en aval afin d'éviter la propagation de données erronées. Pour savoir si la source de données de destination dans Data Integration prend en charge la surveillance de la qualité des données et comment l'utiliser, consultez la section Surveillance de la qualité des données.

Si des règles de qualité des données sont configurées pour les tables de sortie des tâches de synchronisation par lots, veillez à la connectivité réseau entre le groupe de ressources utilisé par la tâche et la source de données de destination.

Consulter les journaux d'exécution des tâches par lots

Consulter le tableau de bord de synchronisation par lots

Accédez également à Dashboard > Batch Synchronization pour visualiser les métriques d'exécution des tâches de synchronisation par lots, notamment la répartition des états d'exécution, la progression de la synchronisation des données, les statistiques sur le volume de données synchronisées et les détails d'exécution des tâches (filtrables par sources et destinations de données, ainsi que par l'utilisation ou non du réseau public). Pour plus d'informations, consultez la section Consulter le tableau de bord de synchronisation par lots.

Utiliser Logview pour afficher les informations d'exécution des tâches

Data Integration Logview collecte, analyse et visualise des métriques de synchronisation détaillées, telles que les taux de synchronisation et les journaux, avec une granularité plus fine durant les tâches de synchronisation des données.

1. Dans Operation Center, localisez l'instance en cours d'exécution de la tâche par lot et cliquez sur Perform Diagnosis. Sur la page Instance View, repérez la tâche cible dans la liste des instances et cliquez sur Run Diagnosis dans la colonne Actions.

2. Sur la page Diagnostic d'exécution, cliquez sur l'onglet Execution > Data Integration pour afficher les résultats d'analyse des journaux d'erreur fournis par les grands modèles de langage, afin de faciliter le dépannage.

   La section de diagnostic intelligent propose des analyses issues de trois grands modèles de langage : Qwen, DeepSeek et DW Knowledge Base. Elle affiche les Key Error Logs, l'Error Analysis, les Suggested Solutions et les Quick Actions (incluant Edit Code, Rerun et Go to Data Map). Un indicateur de progression en haut de la page indique le statut de réussite ou d'échec de chaque étape : Upstream Dependency, Scheduled Check, Scheduling Resource et Task Execution.

   Parameter	Description
   Logs	Sur la page Logs, consultez les journaux détaillés des tâches de synchronisation Data Integration.
   Progress	Sur la page Progress, affichez les informations détaillées sur la progression des tâches de synchronisation Data Integration, y compris Synchronized Data Records, Synchronized Bytes, Synchronization Rate for Synchronized Data Records et Synchronization Rate for Synchronized Bytes. Vous pouvez également effectuer les opérations suivantes sur cette page : Utilisez le filtre temporel pour afficher les informations de synchronisation sur une plage horaire spécifique. Remarque Le filtre temporel permet d'afficher des informations détaillées sur une période allant jusqu'à 15 jours. À droite de la liste des processus, cliquez sur l'icône pour afficher davantage de colonnes. Dans la zone de la liste des processus, utilisez la boîte de dialogue de configuration des colonnes pour sélectionner les métriques de surveillance à afficher. Les colonnes disponibles incluent Subtask ID, Start Time, Synchronized Records, Average Synchronization Rate (records), Average Synchronization Rate (bytes), Execution Machine, Average GC Duration, GC Count, Status, End Time, Duration, Reader Wait Time, Writer Wait Time et Dirty Data Count. Dans la liste des processus, cliquez sur un élément spécifique pour afficher le graphique de tendance d'une métrique.
   Instance Overview	Si l'instance est une instance planifiée, accédez également à la page Instance Overview pour consulter les détails comparatifs entre différents cycles pour cette instance. Consultez l'état de la tâche et l'Instance ID correspondant dans la Task List. Cliquez sur un Instance ID pour afficher les détails de la tâche. Utilisez également le diagramme en barres pour comparer les différences de Sync Rate, de Synchronized Data Records, de Waiting time et de Synchronization Duration entre différentes instances.

Étapes suivantes : Problèmes de qualité des données et optimisation des tâches pour la synchronisation par lots

• Limiter la synchronisation par lots

• Résoudre les problèmes de qualité des données dans la synchronisation par lots

• Analyser les journaux de synchronisation par lots

La progression de la synchronisation complète d'une tâche de synchronisation par lots au niveau de la base de données reste à 0 %

Si la progression de la synchronisation complète d'une tâche de synchronisation par lots au niveau de la base de données affiche continuellement 0 %, examinez les causes suivantes une par une.

1. Vérifiez si la tâche est dans l'état WAIT

   Consultez l'état de l'instance dans Operation Center. L'état WAIT indique que la tâche attend la finalisation des dépendances en amont ou l'allocation des ressources de planification ; la progression de la synchronisation complète n'avance donc pas. Une fois les dépendances en amont satisfaites et les ressources disponibles, la tâche démarre automatiquement.

2. Vérifiez si le groupe de ressources dispose d'assez d'unités de calcul (CU)

   Un nombre insuffisant d'unités de calcul dans le groupe de ressources entraîne une mise en file d'attente des tâches. Vérifiez l'utilisation des CU sur la page de surveillance du groupe de ressources. Si l'utilisation est constamment proche de 100 %, augmentez la capacité du groupe de ressources ou réduisez le nombre de tâches simultanées.

3. Vérifiez si la connectivité réseau est normale

   Si le réseau entre le groupe de ressources et la source de données n'est pas connecté, la tâche de synchronisation ne peut ni lire ni écrire de données. Effectuez un test de connectivité sur la page de configuration de la source de données pour confirmer que la source et la destination sont bien connectées.

4. Vérifiez si des sous-tâches ont été générées et sont en cours d'exécution

   Une tâche de synchronisation par lots au niveau de la base de données se compose de plusieurs sous-tâches. Consultez la liste des sous-tâches sur la page Progress dans Logview pour confirmer que les sous-tâches ont été générées et sont dans l'état d'exécution. Si aucune sous-tâche n'a été générée, vérifiez que les règles de sélection de tables dans la configuration de la tâche correspondent correctement aux tables source.

FAQ sur les opérations des tâches de synchronisation par lots

• FAQ sur la synchronisation par lots

• FAQ sur la synchronisation par lots

• Données manquantes après achèvement d'une tâche de synchronisation par lots

• FAQ sur la synchronisation par lots