Microservices Engine:Gestion des tâches

Création d'une tâche

1. Connectez-vous à la console MSE SchedulerX.

2. Connectez-vous à la console EDAS.

3. Dans le volet de navigation de gauche, choisissez Task Scheduling, puis sélectionnez la région et le Namespace dans lesquels vous souhaitez créer la tâche.

4. Dans le volet de navigation de gauche, cliquez sur Task Management, puis sélectionnez la région et le Namespace associés à la tâche.

5. Cliquez sur Add Task. À l'étape Basic Configuration, configurez les paramètres de la tâche, puis cliquez sur Next.

   Le tableau suivant décrit les paramètres de configuration de base.

   Parameter	Description
   Task name	Nom personnalisé de la tâche.
   Description	Brève description permettant d'identifier la tâche dans les résultats de recherche.
   Application ID	Groupe d'applications auquel la tâche appartient. Sélectionnez un groupe dans la liste déroulante.
   Task type	Langage ou environnement d'exécution de la tâche. Les types pris en charge sont Java, XXL-JOB, SpringSchedule, Golang, script task, Http et DataWorks. Si vous sélectionnez script task, choisissez un langage de script : shell, python ou go. Vous pouvez ensuite rédiger le script de la tâche dans l'éditeur fourni.
   Class full path	Remarque Ce paramètre n'apparaît que lorsque Task Type est défini sur Java. Nom de classe complet du JobProcessor, par exemple xxx.xxx.xxx.HelloProcessor.
   Execution mode	Spécifie le mode d'exécution de la tâche. Les modes suivants sont pris en charge : stand-alone operation : s'exécute sur un seul worker sélectionné aléatoirement. broadcast run : s'exécute simultanément sur tous les workers et ne se termine qu'une fois que chaque worker a fini son exécution. Visual MapReduce : modèle Map avec une liste visuelle de sous-tâches. Prend en charge jusqu'à 300 sous-tâches. L'édition Professionnelle prend en charge jusqu'à 1 000 sous-tâches et permet de rechercher des sous-tâches par mot-clé métier. MapReduce : modèle MapReduce standard qui prend en charge le traitement parallèle d'un grand nombre de sous-tâches. Il fournit uniquement des informations résumées sur l'exécution des sous-tâches. Recommandé pour les tâches comportant jusqu'à 1 million de sous-tâches. shard run : similaire au modèle elastic-job, vous pouvez configurer des paramètres de fragmentation pour distribuer les shards uniformément entre plusieurs clients. Ce mode prend en charge plusieurs langages. Remarque Les paramètres avancés varient en fonction du execution mode sélectionné.
   Task parameters	Chaîne arbitraire accessible depuis le contexte de la tâche lors de l'exécution.

   Le tableau suivant décrit les paramètres de configuration avancée.

   Parameter	Applicable execution modes	Description	Default
   Task failure retry count	All modes	Nombre de tentatives automatiques en cas d'échec de la tâche. Remarque Si un worker exécutant une tâche redémarre, l'état de celle-ci passe à « échouée ». Configurez ce paramètre pour relancer immédiatement la tâche.	0
   Task failure retry interval	All modes	Intervalle entre les tentatives. Unité : secondes.	30
   Task concurrency	All modes	Nombre maximal d'instances de la même tâche pouvant s'exécuter simultanément. Une valeur de 1 empêche les exécutions chevauchantes.	1
   Cleaning strategy	All modes	Politique de nettoyage de l'historique d'exécution des tâches.	Keep last N entries
   Number of records to retain	All modes	Nombre d'enregistrements d'exécution de tâches à conserver.	300 records
   Subtask concurrency per machine	Visual MapReduce MapReduce shard run	Pour les modèles distribués, il s'agit du nombre de sous-tâches qu'un seul worker peut traiter simultanément. Augmentez cette valeur pour accélérer l'exécution ou réduisez-la si les systèmes ou bases de données en aval ne peuvent pas supporter la charge.	5
   Subtask failure retry count	Visual MapReduce MapReduce shard run	Pour les modèles distribués, il s'agit du nombre de tentatives automatiques en cas d'échec d'une sous-tâche.	0
   Subtask failure retry interval	Visual MapReduce MapReduce shard run	Pour les modèles distribués, il s'agit de l'intervalle entre les tentatives de réexécution des sous-tâches. Unité : secondes.	0
   Subtask failover strategy	Visual MapReduce MapReduce shard run	Lorsque cette option est activée, les sous-tâches ayant échoué sont redistribuées vers d'autres workers. Ce processus peut entraîner l'exécution multiple d'une sous-tâche ; votre code doit donc être idempotent. Remarque Le client v1.8.13 ou une version ultérieure est requis.
   Master node participates in execution	Visual MapReduce MapReduce shard run	Indique si le nœud maître exécute également des sous-tâches. Vous devez disposer d'au moins deux workers en ligne. Si vous avez un très grand nombre de sous-tâches, nous vous recommandons de désactiver ce paramètre. Remarque Le client v1.8.13 ou une version ultérieure est requis.
   Subtask distribution method	Visual MapReduce MapReduce shard run	push model : Répartit les sous-tâches uniformément entre les workers. pull model : Chaque worker récupère activement les sous-tâches. Cette approche évite l'effet du « maillon faible ». Pendant le processus de récupération, toutes les sous-tâches sont mises en cache sur le nœud maître, ce qui peut consommer beaucoup de mémoire. Ce modèle est recommandé pour les tâches comportant au plus 10 000 sous-tâches.	push model
   Distribution policy	Visual MapReduce MapReduce	Politique de distribution des sous-tâches. Par défaut, le système distribue les sous-tâches aux nœuds selon un algorithme round-robin. polling scheme : Attribue une part égale de sous-tâches à chaque worker. Utilisez ce schéma lorsque les sous-tâches ont des durées de traitement similaires. Load-based strategy : Le nœud maître détecte la charge des workers et distribue les sous-tâches en conséquence. Utilisez ce schéma lorsque la durée de traitement varie selon les sous-tâches ou les workers. Remarque Le client v1.10.14 ou une version ultérieure est requis.
   Distribution rate	Visual MapReduce MapReduce	Vitesse de distribution des sous-tâches. Vous pouvez spécifier le nombre de sous-tâches à distribuer par seconde ou par minute.
   Pull size per request (pull model only)	Visual MapReduce MapReduce shard run	Nombre de sous-tâches qu'un worker (nœud esclave) récupère depuis le nœud maître lors d'une seule requête.	5
   Subtask queue capacity (pull model only)	Visual MapReduce MapReduce shard run	Taille de la file d'attente de cache des sous-tâches sur chaque worker (nœud esclave).	10
   Global subtask concurrency (pull model only)	Visual MapReduce MapReduce shard run	Dans le modèle pull distribué, vous pouvez définir une limite globale du nombre de sous-tâches concurrentes pour appliquer une limitation de débit.	1,000

6. À l'étape Timing Configuration, configurez les paramètres de planification et les paramètres avancés, puis cliquez sur Next.

   Le tableau suivant décrit les paramètres de planification.

   Parameter	Description
   Time type	none : aucune planification. Les tâches sont généralement déclenchées par un workflow. cron : expression cron. api : déclenchement par appel API. fixed_rate : intervalle fixe. second_delay : délai fixe en secondes. onetime : tâche ponctuelle. unix cron : expression cron au format Unix.
   Cron expression (uniquement pour le type de temps cron)	Saisissez une expression cron. Vous pouvez la rédiger directement ou utiliser un outil pour la générer et la valider.
   Fixed frequency (uniquement pour le type de temps fixed_rate)	Indiquez une fréquence fixe en secondes. La valeur doit être supérieure à 60. Par exemple, une valeur de 200 signifie que la tâche est planifiée toutes les 200 secondes.
   Fixed delay (uniquement pour le type de temps second_delay)	Spécifiez un délai fixe en secondes. Les valeurs valides vont de 1 à 60. Par exemple, la valeur 5 déclenche la tâche après un délai de 5 secondes.
   Scheduled time (uniquement pour le type de temps onetime)	Indiquez l'heure d'exécution planifiée de la tâche. Exemple : 2023-7-13 00:00:00.
   Unix cron expression (uniquement pour le type de temps unix cron)	Saisissez une expression cron au format Unix.

   Le tableau suivant décrit les paramètres de configuration avancée.

   |
   **Parameter**
   |
   **Description**
   | | --- | --- | |
   **Time offset**
   |
   Décalage entre l'horodatage des données et l'heure de planification. Vous pouvez récupérer cette valeur depuis le contexte de planification.
   | |
   **Time zone**
   |
   Sélectionnez un fuseau horaire selon vos besoins. Vous pouvez choisir un fuseau horaire courant associé à un pays ou une région, ou un décalage GMT standard.
   |
   
   
   
   
   
   
   
   
   
   
   
   

7. À l'étape Notification Configuration, configurez les paramètres d'alerte et les contacts, puis cliquez sur Complete.

   Cette étape comprend plusieurs paramètres d'alerte : Timeout alarm, Timeout termination, Success notification, Failure alarm et No available machine alarm. Vous pouvez également spécifier les destinataires des notifications en sélectionnant Application group contact ou Custom.

   Notification Channels and Contacts prend actuellement en charge Application Group Contacts et Custom.

   • Application group contact

     Tous les contacts du groupe d'applications reçoivent les notifications.

   • Custom

     En mode personnalisé, vous pouvez spécifier les destinataires par Contact group ou Contact.

     • Contact group

       Tous les contacts du groupe de contacts sélectionné reçoivent les notifications. Pour plus d'informations sur la création d'un groupe de contacts, consultez Contacts de notification.

     • Contact

       1. Pour ajouter des contacts de notification, cliquez sur Add Contact, puis sur Go to Create Contact. Le système envoie des notifications à tous les contacts ajoutés.

       2. Dans la boîte de dialogue qui s'affiche, cliquez sur New Contact et saisissez les informations de contact.

       Les informations de contact incluent Name (obligatoire), Mobile, Email, webhook et Contact Group.

8. Revenez à la page Task Management pour vérifier que la tâche a bien été créée avec les paramètres spécifiés.

   Remarque

   Les tâches sont activées par défaut après leur création. Vous pouvez également désactiver puis réactiver une tâche en fonction de vos besoins métier. Pour plus d'informations, consultez la section Activation et désactivation des tâches planifiées.

Modifier une tâche

1. Sur la page Tasks, cliquez sur Edit dans la colonne Actions pour la tâche cible.

2. Dans le panneau Edit, configurez les paramètres de base, de planification et de notification.

   Remarque

   Vous ne pouvez pas modifier l'ID d'application ni le type de tâche. Les règles de configuration des autres paramètres sont identiques à celles appliquées lors de la création d'une tâche.

Exécuter une tâche planifiée

Sur la page Tasks, cliquez sur Run once dans la colonne Actions pour exécuter la tâche immédiatement.

Activer ou désactiver des tâches

Copier une tâche planifiée

Sur la page Tasks, dans la colonne Actions de la tâche cible, cliquez sur More > Copy. Cette action copie la configuration de la tâche, que vous pouvez ensuite modifier pour créer une nouvelle tâche planifiée.

Rétro-alimenter une tâche

Si vous devez réexécuter une tâche pour une période passée en raison de changements métier, tels que l'ajout d'un nouveau champ dans une base de données ou la correction d'erreurs dans des données historiques, vous pouvez procéder à une rétro-alimentation de la tâche.

Si les données d'une exécution précédente de la tâche sont incorrectes ou manquantes, effectuez une rétro-alimentation pour récupérer les données correctes.

1. Connectez-vous à la console MSE SchedulerX.

2. Sur la page Task Management, dans la colonne Actions de la tâche cible, cliquez sur More > Backfill Task.

3. Dans le panneau Backfill Task, définissez les dates de start and end date et l'data timestamp, puis cliquez sur OK.

   • Start and end date : plage de dates à rétro-alimenter.

   • Data timestamp : spécifie l'heure de la journée pour chaque instance de rétro-alimentation générée dans la plage de dates.

   Exemple de configuration de rétro-alimentation :

   • Heure actuelle : 2019-01-01 10:00:00.

   • Start and end date : du 2018-10-01 au 2018-10-07. Par défaut, la plage s'étend de 00:00:00 le 2018-10-01 à 23:59:59 le 2018-10-07.

   • Data timestamp : 11:11:11.

   La rétro-alimentation génère sept instances de tâche.

   |
   **ID**
   |
   **Scheduling time**
   |
   **Data timestamp**
   | | --- | --- | --- | |
   1
   |
   2019-01-01 10:00:00
   |
   2018-10-01 11:11:11
   | |
   2
   |
   2019-01-01 10:00:00
   |
   2018-10-02 11:11:11
   | |
   3
   |
   2019-01-01 10:00:00
   |
   2018-10-03 11:11:11
   | |
   4
   |
   2019-01-01 10:00:00
   |
   2018-10-04 11:11:11
   | |
   5
   |
   2019-01-01 10:00:00
   |
   2018-10-05 11:11:11
   | |
   6
   |
   2019-01-01 10:00:00
   |
   2018-10-06 11:11:11
   | |
   7
   |
   2019-01-01 10:00:00
   |
   2018-10-07 11:11:11
   |
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   

Historique d'exécution et journaux d'opérations

• Afficher l'historique d'exécution : sur la page Task Management, cliquez sur More>History dans la colonne Actions de la tâche cible pour afficher son historique d'exécution. Sur la page Task Instance History, vous pouvez filtrer les enregistrements selon divers critères tels que le statut, l'ID d'application et la date, et sélectionner la case à cocher Include Workflows. Le tableau d'historique comprend des colonnes telles que Task ID/Name, Task Type/Execution Method, Instance ID/Process Instance ID, Application ID, Start Time, End Time et Operator. La colonne Actions fournit des liens vers Details, Logs et More. Un message en haut de la page indique que l'édition Standard permet d'afficher seulement 30 enregistrements, tandis que l'édition Professionnelle en prend en charge 300.

• Afficher les journaux d'opérations : sur la page Task Management, cliquez sur More > Operation Records dans la colonne Actions de la tâche cible pour afficher les journaux des opérations de gestion de la tâche planifiée. La page Operation Records permet un filtrage par Type et Task ID. Le tableau de résultats inclut les colonnes Task ID, Operation Time, Operation Type, Operator, Extensions et Actions. Vous pouvez cliquer sur View pour consulter les détails de l'opération.

Supprimer une tâche

1. Sur la page Tasks, cliquez sur More > Delete dans la colonne Actions pour la tâche cible.

2. Dans la boîte de dialogue de confirmation, cliquez sur Confirm.

Importer ou exporter des tâches

1. Sur la page Tasks, sélectionnez une application de l'édition Professionnelle.

   Sélectionnez l'application dans la liste déroulante All Applications en haut de la page.

2. Cliquez sur Import task ou Export tasks.