DataWorks:Paramètres de Data Integration

Fonctionnement

La fonctionnalité Processing Policy for DDL Messages in Real-time Sync vous permet de prédéfinir une politique de synchronisation DDL (Data Definition Language) par défaut pour différents types de sources de données de destination, telles que MaxCompute et Hologres. Une fois enregistrée, le système applique automatiquement cette politique lorsque vous créez une nouvelle tâche de synchronisation en temps réel pour une base de données entière.

1. Sélectionnez un type de destination : dans le menu déroulant Synchronize To, sélectionnez un type de source de données de destination.

2. Définissez la politique de synchronisation : pour différents types de messages de modification DDL source, tels que l'ajout d'une colonne ou la vidange d'une table, configurez et enregistrez la méthode de traitement correspondante.

   • Normal treatment : la modification DDL est appliquée au schéma de destination.

     Important

     Lorsqu'une nouvelle colonne est ajoutée à la source et synchronisée vers la destination, le système ne remplit pas rétroactivement les données historiques dans la colonne nouvellement créée.

   • Ignore : le système ignore l'événement DDL et le schéma de destination reste inchangé.

   • Error : la tâche de synchronisation en temps réel s'arrête et le système définit son statut sur Error.

3. Après avoir enregistré la politique, le système l'applique automatiquement lorsque vous créez une autre tâche de synchronisation en temps réel pour une base de données entière avec le même type de destination.

4. Pour remplacer la politique pour une seule tâche, cliquez sur Advanced Configuration > DDL Capability Configuration dans le coin supérieur droit de la page des détails de la tâche afin de configurer une politique de traitement des messages DDL spécifique à la tâche.

Recommandations

Pour la synchronisation en temps réel depuis des sources MySQL et PolarDB for MySQL, ajoutez les nouvelles colonnes à la fin de la table, et non au milieu. Si vous devez absolument ajouter une colonne au milieu d'une table source, respectez les contraintes suivantes :

• Pendant la phase d'initialisation complète, n'ajoutez pas de colonnes au milieu d'une table. Cela provoquerait des anomalies de données lors de la phase ultérieure de synchronisation en temps réel.

• Pendant la phase de synchronisation en temps réel, vous devez réinitialiser le décalage de synchronisation à un horodatage postérieur à l'ajout de la colonne. Sinon, des anomalies de données surviendront lors de la synchronisation ultérieure.

Si une anomalie de données se produit, vous pouvez modifier la tâche pour supprimer la table contenant la colonne ajoutée, puis enregistrer la tâche pour restaurer les données.

Cas d'utilisation

• Standardisation du développement : enregistrez les configurations de tâches courantes sous forme de modèles pour que les membres de l'équipe puissent les réutiliser, garantissant ainsi des pratiques de développement cohérentes.

• Amélioration de l'efficacité du développement : lors de la création de nouvelles tâches, vous pouvez partir d'un modèle existant pour accélérer le développement et réduire les travaux répétitifs.

• Préservation des connaissances : enregistrez les implémentations de tâches complexes ou de haute qualité sous forme de modèles pour faciliter le partage et le transfert des connaissances.

Opérations principales

• Affichage de la liste des modèles : cette liste affiche tous les modèles de tâche disponibles dans le projet actuel, y compris leur ID de modèle, leur nom et leur dernière date de mise à jour.

• Recherche de modèles : utilisez la zone de recherche en haut pour trouver rapidement un modèle par son nom, son ID ou les informations relatives à la source de données associée.

• Gestion des modèles : dans la colonne Operation de la liste, vous pouvez supprimer des modèles.

Cas d'utilisation

• Standardisation de la surveillance : définissez des normes d'alerte uniformes pour différents types de tâches (telles que les tâches critiques et les tâches routinières) ou scénarios d'alerte (tels que les erreurs, les ralentissements ou la non-exécution).

• Amélioration de l'efficacité de la configuration : lorsque vous configurez des alertes pour une tâche, vous pouvez directement référencer une règle publique au lieu de saisir à plusieurs reprises des informations telles que les méthodes de notification et les contacts.

• Gestion centralisée : gérez toutes les règles d'alerte dans une vue unifiée, ce qui facilite la modification des destinataires des notifications ou l'ajustement des seuils d'alerte par lots.

Opérations principales

• Créer une nouvelle règle : cliquez sur le bouton Create pour créer une règle d'alerte publique. Définissez le Alert Name, sélectionnez un Alert Reason (tel que la latence métier, les données erronées ou le basculement), configurez la Alert Notification Method (telle que l'appel téléphonique, le SMS, l'e-mail, DingTalk, webhook ou Lark) et définissez les Configure Advanced Parameters. Pour plus d'informations sur la configuration des alertes, consultez la rubrique Bonnes pratiques pour la configuration des alertes pour les tâches de synchronisation en temps réel.

  Remarque

  • Pour les anomalies liées à la latence métier, au statut de la tâche et à l'utilisation des ressources de la tâche, vous pouvez également activer la recovery notification afin d'informer les destinataires lorsque le statut revient à la normale.

  • Les options Webhook et Lark sont disponibles uniquement dans l'édition Enterprise.

• Task Reference : cliquez sur Task Reference pour appliquer efficacement la règle d'alerte à plusieurs tâches ou la supprimer de celles-ci. Vous pouvez également activer ou suspendre les alertes pour ces tâches par lots afin d'éviter les opérations répétitives.

• Test : envoyez une alerte de test pour vérifier que la configuration de l'alerte est correcte et que les notifications sont bien transmises aux destinataires spécifiés.

  Remarque

  Cette fonctionnalité envoie une notification d'alerte réelle. Utilisez-la avec précaution pour éviter de causer des interruptions inutiles.