DataWorks:Instance Generation Mode: Immediately After Deployment

Le lendemain (par défaut)

Cette option par défaut, recommandée, maximise la stabilité de votre environnement de production en isolant les modifications des instances en cours d'exécution ce jour-là.

• Principe de fonctionnement : Un déploiement effectué le jour T ne modifie que la définition de la tâche et n'interfère pas avec l'exécution des instances ce jour-là.

• Impact le jour T (jour du déploiement) :

  • Le système met uniquement à jour le code et les définitions des propriétés de la tâche. Les instances déjà générées ou planifiées le jour T ne sont pas affectées et s'exécutent selon la configuration précédant le déploiement.

  • Si vous souhaitez appliquer la nouvelle logique aux données du jour en cours, effectuez manuellement une opération de backfill data pour les instances du jour T après le déploiement.

• Impact le jour T+1 (lendemain) : Toutes les modifications prennent effet à partir de la première instance déclenchée automatiquement le lendemain du déploiement (jour T+1). Ces instances sont générées et exécutées selon la nouvelle configuration.

Immédiatement après le déploiement

Ce mode applique les modifications de tâche le jour du déploiement. Le système compare l'heure de déploiement de la tâche avec l'heure de planification de chaque instance afin de déterminer comment les instances s'exécutent le jour T.

• Principe de fonctionnement : Le système compare l'heure de planification de chaque instance déclenchée automatiquement le jour T avec l'heure de déploiement de la tâche, augmentée d'une marge système de 10 minutes.

• Heure de planification < Heure de déploiement + 10 minutes

  • Résultat : Les nouvelles tâches effectuent un dry run ; les tâches modifiées ne génèrent pas d'instance.

  • Pour les nouvelles tâches qui n'ont jamais été déployées, l'instance expire et effectue un dry run sans exécuter la logique métier. Pour les tâches modifiées et redéployées, les instances expirées ne sont pas générées.

• Heure de planification > Heure de déploiement + 10 minutes

  • Résultat : Exécution normale.

  • Le système génère et exécute l'instance selon la nouvelle configuration.

• Impact le jour T+1 (lendemain) : Toutes les instances déclenchées automatiquement du lendemain (jour T+1) sont générées selon la nouvelle configuration.

Cas d'utilisation recommandés

Utilisez ce mode avec prudence et uniquement dans les scénarios suivants :

• Nouvelles tâches devant s'exécuter le jour même : Utilisez ce mode pour les nouvelles tâches sans dépendances ascendantes ou descendantes complexes qui doivent s'exécuter le jour du déploiement.

• Remplacement d'instances existantes : Utilisez ce mode pour remplacer une instance déclenchée automatiquement en attente, qui a été générée pour le jour en cours mais ne s'est pas encore exécutée.

Scénarios à haut risque (non recommandés)

Évitez d'utiliser ce mode dans les scénarios suivants, car il peut compliquer les dépendances de planification du jour même et provoquer des échecs de planification :

• Modification de la planification d'une tâche déployée : Cette opération est particulièrement risquée pour les tâches présentant des dépendances ascendantes et descendantes complexes. La modification du cycle de planification (par exemple, de quotidien à horaire) et le déploiement immédiat peuvent entraîner un mélange d'anciennes instances conservées et de nouvelles instances créées, ce qui conduit à des dépendances désordonnées.

• Échec de l'actualisation du schéma de table : Après avoir modifié le cycle de planification, le schéma ou les partitions de la table de sortie (telle qu'une table MaxCompute) peuvent ne pas s'actualiser pour refléter le dernier résultat. En mode Immediately After Deployment, la modification du cycle de planification crée de nouvelles instances mais ne supprime pas automatiquement les anciennes. Tant que les anciennes et les nouvelles instances coexistent, les anciennes instances continuent de s'exécuter avec l'ancienne configuration, de sorte que le schéma ou les partitions de la table de sortie ne sont pas mis à jour en conséquence.

  Étapes de dépannage :

  1. Vérifiez si le cycle de planification a été modifié le jour du déploiement.

  2. Dans Operation Center, vérifiez si les anciennes et les nouvelles instances coexistent pour la tâche.

  3. Identifiez quelles instances s'exécutent toujours avec l'ancienne configuration et maintiennent la table de sortie obsolète.

  Solution :

  1. Basculez la tâche en mode T+1 et redéployez-la.

  2. Effectuez une opération de backfill data pour les instances du jour en cours.

• Modes de génération d'instances incohérents pour les tâches ascendantes et descendantes : Par exemple, une tâche ascendante utilise le mode T+1, tandis qu'une tâche descendante utilise Immediately After Deployment. Cette configuration empêche les instances de la tâche descendante générées le jour même de trouver leurs dépendances ascendantes, ce qui les transforme en isolated tasks incapables de s'exécuter automatiquement.

Solution alternative

Pour les scénarios impliquant des modifications d'une tâche déployée, une approche plus sûre consiste à :

1. Utiliser le mode par défaut T+1 pour déployer les tâches.

2. Une fois le déploiement réussi, effectuer une opération de backfill data sur la tâche afin de déclencher manuellement une instance pour le jour en cours.

Scénario 1 : Nouvelle tâche

Scénario 2 : Mise à jour du cycle de planification

Scénario 3 : Modes incohérents

Scénario 4 : Modification de la planification de la tâche ascendante