DataWorks:Configurer les propriétés temporelles

Démarrage rapide : exemple de configuration

Scénario : Une entreprise de commerce électronique doit calculer automatiquement le chiffre d'affaires total de la veille à 02:00 chaque jour. Si la tâche échoue en raison de facteurs tels que des fluctuations réseau, le système doit la réessayer automatiquement 3 fois.

• Étape 1 : Définir l'heure planifiée

  1. Définir le cycle de planification : Double-cliquez sur le nom de la tâche pour ouvrir le panneau de configuration de la tâche. Cliquez sur Schedule Settings > Time Properties à droite. Définissez Scheduling Cycle sur Day.

  2. Définir l'heure planifiée : Réglez l'heure planifiée sur 02:00.

• Étape 2 : Définir la politique de planification

  1. Définir la propriété de réexécution : Réglez la propriété de réexécution sur You can run again after successful or failed operation..

  2. Réréexécution automatique en cas d'échec : Sélectionnez Auto Rerun upon Failure, définissez le nombre de tentatives sur 3 et l'intervalle sur 5 minutes.

  3. Conservez les valeurs par défaut pour les autres propriétés.

• Résultat :

  Après le déploiement de la tâche, le système la déclenche automatiquement à 02:00 chaque jour, à partir du lendemain (T+1). En cas d'échec, le système effectue une nouvelle tentative toutes les 5 minutes. La tâche s'exécute au maximum 4 fois (1 exécution normale + 3 tentatives).

Fonctionnement

Les configurations des propriétés temporelles définissent l'intégralité du cycle de vie d'une tâche planifiée, de la génération de l'instance jusqu'à son exécution. Elles couvrent les dimensions centrales suivantes :

• Heure de planification : Définit visuellement la fréquence et l'heure précise d'exécution de la tâche.

• Gestion du cycle de vie des instances : Détermine quand une instance est créée et quand elle est valide. Cela inclut :

  • Mode de génération des instances : Contrôle si les instances sont générées le jour du déploiement ou le lendemain.

  • Période d'effet : Définit la plage de temps globale pendant laquelle la tâche est valide.

  • Calendrier de planification : Permet d'exclure les jours non ouvrés (comme les jours fériés).

• Politique d'exécution : Définit le comportement d'une instance une fois l'heure planifiée atteinte via le type de planification, en déterminant si l'instance s'exécute normalement, effectue un test à blanc (ignorer) ou est suspendue.

• Gestion des exceptions et tolérance aux pannes : Fournit des mécanismes de gestion automatique des exceptions telles que les échecs d'exécution des tâches ou les délais dépassés, grâce aux définitions de délai d'expiration et aux paramètres de réexécution.

Heure de planification

L'heure de planification détermine le moment prévu pour l'exécution d'une tâche (également appelée heure planifiée) et définit la fréquence à laquelle un nœud de tâche est automatiquement déclenché dans l'environnement de production. En fonction du cycle que vous configurez, le système génère le nombre correspondant d'instances périodiques pour la tâche et pilote l'exécution automatisée du flux de travail entier grâce à l'heure planifiée et aux dépendances de planification de ces instances.

Vous trouverez ci-dessous des exemples de configuration pour chaque scénario :

Planification à la minute

Définissez l'heure de début, l'heure de fin et l'intervalle d'exécution. L'intervalle minimal est de 1 minute. Dans la plage horaire spécifiée, le système génère plusieurs instances à intervalles réguliers.

Exemple de configuration

Le nœud cible est planifié toutes les 30 minutes dans la plage horaire allant de 00:00 à 23:59 chaque jour.

Détails des instances

La figure suivante illustre les heures planifiées et le remplacement des paramètres de planification pour les instances d'un nœud planifié toutes les 30 minutes.

Planification à l'heure

Ce mode convient aux scénarios de synchronisation à haute fréquence ou de calcul en quasi temps réel.

• Logique de génération des instances : le système calcule les instances périodiques sur la base d'un intervalle fermé [heure de début, heure de fin].

  • Exemple : si la plage horaire est définie sur [00:00,03:00] et l'intervalle sur 1 hour, le système génère 4 instances avec des heures d'exécution planifiées à 00:00, 01:00, 02:00 et 03:00.

• Méthodes de configuration :

  • Déclenchement basé sur un intervalle : exécution cyclique à intervalle fixe (par exemple, toutes les heures) dans une plage horaire spécifiée.

  • Déclenchement ponctuel : exécution à un ou plusieurs moments discrets spécifiés.

Exemple de configuration

La tâche cible est automatiquement planifiée toutes les 6 heures dans la plage horaire allant de 00:00 à 23:59 chaque jour.

Détails de la planification

Le système de planification génère 4 instances par jour et les exécute aux heures planifiées suivantes : 00:00, 06:00, 12:00 et 18:00.

Planification quotidienne

La planification quotidienne est la méthode la plus courante. Elle vous permet d'exécuter une tâche une fois par jour à une heure précise, dans une plage horaire valide. Par défaut, les tâches nouvellement créées utilisent la planification quotidienne, et l'heure planifiée est générée aléatoirement dans la plage horaire allant de 00:00 à 00:30. Vous pouvez spécifier une heure d'exécution personnalisée selon vos besoins. Par exemple, vous pouvez configurer la tâche pour qu'elle s'exécute une fois par jour à 13:00.

Exemple de configuration

Définissez Scheduling Cycle sur Day et Scheduled Time sur 13:00. Le système génère automatiquement l'expression cron 00 00 13 * * ?.

Détails de la planification

Le système de planification génère et exécute automatiquement des instances pour la tâche. La figure suivante présente les heures de traitement des données pour chaque date métier.

Planification hebdomadaire

Ce mode s'applique aux agrégations métier hebdomadaires ou à la maintenance périodique des données effectuée à une fréquence fixe chaque semaine.

Logique de génération des instances : le système génère des instances chaque jour dans la plage horaire valide.

• Exécution normale : la logique de code est déclenchée selon le planning uniquement les jours d'exécution sélectionnés (par exemple, lundi et vendredi).

• Simulation automatique (Auto dry run) : les instances générées les jours non sélectionnés (par exemple, mardi, mercredi, jeudi, samedi et dimanche) passent automatiquement à l'état « simulation réussie ». Aucune logique de code n'est réellement exécutée et aucune ressource de calcul n'est consommée.

Exemple de configuration

Si la tâche cible est configurée pour s'exécuter le lundi et le vendredi de chaque semaine, les instances générées ces jours-là sont planifiées et exécutées normalement. Les instances générées les cinq autres jours (mardi, mercredi, jeudi, samedi et dimanche) sont des instances de simulation. Lorsque l'heure planifiée arrive, ces instances passent directement à l'état de réussite sans exécuter réellement la logique de code.

Définissez Scheduled Time sur 13:00. Le système génère automatiquement l'expression cron 00 00 13 ? * 1,5.

Détails de la planification

Le système de planification génère et exécute automatiquement des instances pour la tâche.

Planification mensuelle

Cette option s'applique aux scénarios de traitement des données à fréquence mensuelle. Il s'agit d'un cycle de planification couramment utilisé pour les tâches centrales telles que les règlements financiers, les rapports de performance mensuels et les analyses mensuelles du comportement des utilisateurs.

Logique de génération des instances : le système génère des instances en fonction des jours spécifiques du mois que vous sélectionnez. Chaque instance mensuelle représente un mois calendaire complet.

• Exécution normale : la logique du code est déclenchée selon le planning uniquement aux jours d'exécution sélectionnés (par exemple, le 15 ou le dernier jour de chaque mois).

• Test à blanc automatique : les instances générées les jours non sélectionnés (par exemple, du 1er au 14 de chaque mois) sont automatiquement définies avec le statut « test à blanc » (dry run). Aucune logique de code n'est réellement exécutée et aucune ressource de calcul n'est consommée.

Exemple de configuration

Si la tâche cible est configurée pour effectuer un règlement le dernier jour de chaque mois, l'instance générée ce jour-là est planifiée et exécutée normalement. Les instances générées aux autres dates sont en mode test à blanc, c'est-à-dire qu'elles passent automatiquement à l'état de réussite à l'heure prévue sans exécuter aucune logique de code.

Dans cet exemple, l'Specified Time est définie sur le 15 de chaque mois et le dernier jour de chaque mois, et l'scheduled time est définie sur 02:00. Le système génère automatiquement l'expression cron 00 00 02 15,L * ?.

Détails de la planification

Le système de planification génère et exécute automatiquement des instances pour la tâche.

Remarque

• Lorsque vous utilisez la fonctionnalité backfill data pour remplir rétroactivement les données d'une tâche planifiée mensuellement, notez que la date sélectionnée correspond à l'horodatage des données, où horodatage des données = date planifiée - 1.

  Exemples :

  • Pour une tâche planifiée le premier jour de chaque mois, sélectionnez l'horodatage des données comme étant le dernier jour du mois précédent lors du remplissage rétroactif.

  • Pour une tâche planifiée le dernier jour de chaque mois, sélectionnez l'horodatage des données comme étant l'avant-dernier jour du mois lors du remplissage rétroactif.

  • Si vous sélectionnez un horodatage de données différent pour le remplissage rétroactif, les instances de backfill seront en mode test à blanc.

• Pour plus de scénarios de dépendance, consultez la section Dependency scenarios.

Planification annuelle

Cette option s'applique aux tâches de données à cycle long, telles que les résumés trimestriels, les audits annuels ou les traitements liés à des fêtes spécifiques.

• Logique de génération des instances : des instances sont générées pour les 365 jours de l'année, mais le calcul réel n'est déclenché que pour les mois et dates spécifiés.

  • Combinaisons flexibles : la sélection de plusieurs dates sur différents mois est prise en charge. Par exemple, vous pouvez exécuter une tâche uniquement le premier ou le dernier jour de chaque trimestre.

  • Mécanisme de test à blanc : aux dates qui ne remplissent pas les conditions d'exécution, les instances effectuent un test à blanc en quelques secondes sans exécuter réellement la logique ni consommer de ressources de calcul.

Exemple de configuration

Si la tâche cible est configurée pour s'exécuter le 1er et le dernier jour de janvier, avril, juillet et octobre de chaque année, les instances générées à ces dates spécifiques sont planifiées et exécutées normalement. Les instances générées aux autres dates sont en mode test à blanc, c'est-à-dire qu'elles passent automatiquement à l'état de réussite à l'heure prévue sans exécuter réellement aucune logique de code.

Dans cet exemple, l'Specified Time est définie sur le dernier jour de chaque mois, et l'scheduled time est définie sur 00:00. Le système génère automatiquement l'expression cron 00 00 00 L 1,4,7,10 ?.

Détails de la planification

Le système de planification génère et exécute automatiquement des instances pour la tâche.

Gestion du cycle de vie des instances

Ces configurations déterminent si les instances de tâche sont créées. Elles ne concernent pas l'heure d'exécution spécifique d'une tâche, mais gèrent au niveau macro la création des instances et la validité des règles de planification elles-mêmes.

• Mode de génération d'instances : détermine si vos modifications de configuration prennent effet le jour même ou le lendemain. Le mode « lendemain » (par défaut) garantit que les changements n'interfèrent pas avec les tâches en cours, assurant une transition fluide. Le mode immédiat réinitialise de force les instances du jour pour appliquer les modifications. Utilisez ce mode uniquement pour des correctifs urgents, après avoir pleinement compris l'impact et évalué les risques.

• Période de validité : définit la plage horaire pendant laquelle l'ensemble des règles de planification reste valide.

• Calendrier de planification : permet de lier la planification à un calendrier spécifique, par exemple pour exécuter les tâches uniquement les jours de bourse. Cela offre un contrôle plus flexible qu'un simple cycle hebdomadaire.

Politique d'exécution

Cette configuration définit la manière dont une tâche est exécutée après son déclenchement.

Gestion des exceptions et tolérance aux pannes

Il s'agit d'un élément clé pour garantir la stabilité du pipeline de données en préconfigurant des plans de réponse pour diverses exceptions possibles.

• Propriété de nouvelle tentative : définit si le système doit automatiquement réessayer en cas d'échec d'une tâche, et comment il doit le faire.

• Paramètres de délai d'expiration : définit une durée d'exécution maximale raisonnable pour une tâche. Si la tâche dépasse cette durée, le système peut automatiquement déclencher une alerte ou arrêter la tâche afin d'éviter qu'un nœud unique ne reste bloqué et ne consomme des ressources excessives.

FAQ et bonnes pratiques

• Q : Pourquoi la durée d'exécution réelle d'une tâche diffère-t-elle de l'heure planifiée ?

  R : L'heure planifiée ne représente que le début théorique de la tâche. Son exécution effective requiert deux conditions : ① toutes les tâches en amont doivent s'être exécutées avec succès ; ② des ressources de planification doivent être disponibles. Si l'une de ces conditions n'est pas remplie, la tâche reste en attente.

  Par ailleurs, si l'heure planifiée est fixée aux alentours de 00:00, l'instance peut subir un retard de quelques minutes avant son déclenchement. Cette période correspond en effet au pic de charge du service de planification de DataWorks. Ce comportement est normal. Pour plus de détails, consultez la question suivante.

• Q : L'heure planifiée d'une tâche est 00:00. Pourquoi l'instance commence-t-elle à s'exécuter avec plusieurs minutes de retard ?

  R : Chaque jour, les alentours de 00:00 constituent le pic d'activité pour le planificateur DataWorks. De nombreuses tâches sont déclenchées simultanément, ce qui entraîne généralement un décalage de quelques minutes entre l'heure planifiée et le démarrage effectif de l'instance. Ce délai survient lors de la phase de déclenchement et reste normal. Il n'est pas nécessaire d'ouvrir un ticket.

  Pour réduire ce délai de déclenchement, nous vous recommandons de définir l'heure planifiée après 00:00 afin de lisser la charge. Si votre activité impose un déclenchement à 00:00, prenez en compte ce décalage lors de l'évaluation de la latence de votre pipeline.

• Q : Ma tâche en amont s'exécute selon une programmation horaire et ma tâche en aval suit une programmation quotidienne. Peuvent-elles dépendre l'une de l'autre ?

  R : DataWorks prend en charge les dépendances entre tâches ayant des cycles de planification différents. Le système utilise un algorithme complexe de résolution des dépendances pour garantir qu'une tâche en aval attende bien la fin de toutes ses instances en amont avant de s'exécuter. Pour plus de détails, consultez Principes des dépendances inter-cycles.

• Q : J'ai rétrochargé les données de vendredi dernier. Pourquoi la variable bizdate n'affiche-t-elle pas la date de vendredi ?

  R : Cette situation résulte souvent d'une confusion entre « horodatage des données » (bizdate) et « date d'exécution ». Dans DataWorks, bizdate = heure planifiée − 1 jour. Lorsque vous rétrochargez une tâche dont l'heure planifiée tombe tôt le samedi matin, vous devez sélectionner vendredi comme valeur pour bizdate.

• Q : Ma tâche contient une logique d'écriture de données. Les données seront-elles dupliquées si je relance la tâche ?

  R : Cela est possible. Nous vous recommandons donc vivement de garantir l'idempotence de vos tâches. Pour les écritures de données, utilisez INSERT OVERWRITE (écrasement) plutôt que INSERT INTO (ajout), afin d'obtenir des résultats cohérents lors de multiples réexécutions.