Realtime Compute for Apache Flink:Gérer les workflows

Limites

• Vous pouvez créer des workflows uniquement pour les jobs par lots déployés.

• La fonctionnalité Workflows est en aperçu public. Les accords de niveau de service (SLA) ne sont pas garantis pendant cette période. Pour plus d'informations, consultez la page Accord de niveau de service (SLA) pour Realtime Compute for Apache Flink. Si vous rencontrez des problèmes, vous pouvez soumettre un ticket.

• La fonctionnalité Workflows est disponible uniquement dans les régions Chine (Shanghai), Chine (Hangzhou), Chine (Pékin), Chine (Shenzhen), Chine (Zhangjiakou) et Singapour.

Créer un workflow

1. Connectez-vous à la console Realtime Compute for Apache Flink.

2. Dans la colonne Actions de l'espace de travail cible, cliquez sur Console.

3. Dans le volet de navigation de gauche, choisissez O&M > Workflows.

4. Cliquez sur Create workflow et configurez les paramètres suivants.

   Paramètre	Description
   Nom du workflow	Le nom du workflow doit être unique au sein du namespace actuel.
   Configuration des variables	Active le traitement des données avec des valeurs prédéfinies. Nom de la variable : un nom de variable personnalisé, tel que ${date}. Valeur de la variable : peut être une date statique, un format d'heure ou une expression. Les variables de temps système suivantes sont prises en charge : Nom de la variable system.biz.date avec la valeur ${system.biz.date} : représente la veille de l'heure planifiée d'une instance de workflow quotidienne, au format yyyyMMdd. Nom de la variable system.biz.curdate avec la valeur ${system.biz.curdate} : représente la date planifiée (année, mois, jour) d'une instance de workflow quotidienne, au format yyyyMMdd. Nom de la variable system.datetime avec la valeur ${system.datetime} : représente l'heure planifiée (année, mois, jour, heure, minute, seconde) d'une instance de workflow quotidienne, au format yyyyMMddHHmmss. Remarque Cette configuration n'est pas requise lors de la création d'un workflow pour une table matérialisée. Ces paramètres s'appliquent à tous les déploiements associés aux tâches du workflow. Les configurations au niveau du workflow remplacent les configurations au niveau du déploiement.
   Type de planification	Deux types de planification sont pris en charge : Manually Triggered : exécutez manuellement le workflow en cliquant sur Execute. Cette option convient aux tests temporaires ou au traitement immédiat. Periodic scheduling : déclenche le workflow selon une règle de planification. Vous pouvez planifier son exécution à des intervalles de minutes, d'heures ou de jours. Important Les workflows contenant des tâches de table matérialisée nécessitent une planification périodique.
   Règle de planification	Requis uniquement pour Periodic scheduling. Vous pouvez utiliser une expression cron pour définir des règles complexes. Exemples : 0 0 /4 ? * : s'exécute toutes les 4 heures. 0 0 2 ? : s'exécute tous les jours à 2 h 00. 0 0 5,17 ? * MON-FRI : s'exécute à 5 h 00 et 17 h 00, du lundi au vendredi. Pour plus d'informations sur la syntaxe des expressions cron, consultez la page Syntaxe des expressions cron.
   Heure de début planifiée	L'heure à laquelle la règle prend effet. Ce paramètre est requis uniquement pour le type Periodic scheduling. Important Un workflow planifié périodiquement s'exécute uniquement après que son State a été activé. Définissez l'heure de début planifiée à une heure future afin de garantir que la tâche ne manque pas sa fenêtre de planification.
   Nombre de tentatives en cas d'échec	Spécifie le nombre de tentatives pour les tâches ayant échoué dans le workflow. Les nouvelles tentatives sont désactivées par défaut.
   Notification d'échec	L'adresse e-mail par défaut pour les notifications lorsqu'une tâche du workflow échoue. Remarque Vous pouvez configurer des alertes via DingTalk, SMS et d'autres méthodes grâce à CloudMonitor. Pour plus d'informations, consultez la page Configurer la surveillance et les alertes.
   File d'attente de ressources	La cible de déploiement du workflow. Pour plus d'informations, consultez la page Gérer les files d'attente de ressources. Ce paramètre s'applique à toutes les tâches par défaut, ce qui élimine le besoin d'une configuration au niveau des tâches. Remarque Ce paramètre ne modifie pas la cible de déploiement du job par lot déployé correspondant.
   Tag	Vous pouvez ajouter une clé et une valeur pour créer un tag pour le workflow.

5. Cliquez sur Create.

   Vous êtes redirigé vers la page du générateur de workflows.

6. Configurez la tâche initiale du workflow.

   La page du générateur contient une tâche initiale par défaut. Cliquez sur la tâche initiale, configurez ses paramètres dans le panneau Edit task.

   Job

   Paramètre	Description
   Déploiement	Vous pouvez sélectionner uniquement un job par lot déployé depuis le namespace actuel. La recherche floue est prise en charge.
   Nom de la tâche	Le nom de la tâche au sein du workflow actuel.
   Tâches en amont	Les dépendances en amont de la tâche actuelle. Vous pouvez sélectionner uniquement d'autres tâches au sein du workflow actuel. Remarque La tâche initiale n'a aucune dépendance en amont, vous ne pouvez donc pas sélectionner de tâche en amont pour celle-ci.
   Nombre de tentatives en cas d'échec	Le nombre de tentatives pour une tâche ayant échoué. Par défaut, cette valeur est héritée du nombre de tentatives du workflow. Si elle est spécifiée, le paramètre au niveau de la tâche est prioritaire.
   Abonnement	Configurez la politique d'abonnement aux états et l'e-mail de notification. Vous pouvez vous abonner aux états Save et Fail.
   Délai d'expiration	La durée d'exécution maximale de la tâche. Si la tâche dépasse cette durée, elle échoue.
   File d'attente de ressources	La cible de déploiement de la tâche. Pour plus d'informations, consultez la page Gérer les files d'attente de ressources. Si ce paramètre n'est pas spécifié, la file d'attente de ressources configurée pour le workflow est utilisée. Remarque Ce paramètre ne modifie pas la cible de déploiement du job par lot déployé correspondant.
   Tag	Vous pouvez ajouter une clé et une valeur pour créer un tag pour la tâche du workflow.

   Materialized table

   Paramètre	Description
   Table matérialisée	Vous pouvez sélectionner uniquement des tables matérialisées partitionnées créées avec VVR 11.0 ou version ultérieure et utilisant le mode d'actualisation en continu.
   Nom de la tâche	Le nom de la tâche au sein du workflow actuel.
   Partition temporelle	Champ de partition : le champ de partition temporelle de la table matérialisée. Format de partition : par exemple, yyyyMMdd.
   Configuration des ressources	Vous pouvez personnaliser la quantité de ressources utilisées pour les backfills planifiés. Pour le parallélisme, sélectionnez Automatically allocate pour laisser le système déterminer une valeur appropriée.
   Tâches en amont	Les dépendances en amont de la tâche actuelle. Vous pouvez sélectionner uniquement d'autres tâches au sein du workflow actuel. Remarque La tâche initiale n'a aucune dépendance en amont, vous ne pouvez donc pas sélectionner de tâche en amont pour celle-ci. Après avoir créé une tâche de table matérialisée, les tâches en aval sont automatiquement déduites en fonction de la lignée des données.
   Nombre de tentatives en cas d'échec	Le nombre de tentatives pour une tâche ayant échoué. Par défaut, cette valeur est héritée du nombre de tentatives du workflow. Si elle est spécifiée, le paramètre au niveau de la tâche est prioritaire.
   Abonnement	Configurez la politique d'abonnement aux états et l'e-mail de notification. Vous pouvez vous abonner aux états Start et Start.
   Délai d'expiration	La durée d'exécution maximale de la tâche. Si la tâche dépasse cette durée, elle échoue.
   File d'attente de ressources	La cible de déploiement de la tâche. Pour plus d'informations, consultez la page Gérer les files d'attente de ressources. Si ce paramètre n'est pas spécifié, la file d'attente de ressources configurée pour le workflow est utilisée. Remarque Ce paramètre ne modifie pas la cible de déploiement de la table matérialisée déployée correspondante.
   Tag	Vous pouvez ajouter une clé et une valeur pour créer un tag pour la tâche du workflow.

   Remarque

   • Après avoir créé une tâche de table matérialisée, une boîte de dialogue utilise la lignée de la table pour suggérer des tâches en aval. Sélectionnez simplement les tâches souhaitées pour terminer la configuration.

   • Les tâches en aval doivent également respecter les mêmes limites. Vous pouvez sélectionner uniquement des tables matérialisées partitionnées créées avec VVR 11.0 ou version ultérieure, utilisant le mode d'actualisation en continu avec une fraîcheur inférieure à 30 minutes.

7. (Facultatif) Cliquez sur Fail en bas de la page pour ajouter d'autres tâches.

8. Enregistrez la configuration du workflow.

   1. Dans le coin supérieur droit de la page de l'éditeur de tâches, cliquez sur Add task.

   2. Dans la boîte de dialogue qui s'affiche, cliquez sur Save.

Exécuter un workflow

Chaque exécution de workflow génère une instance de workflow, qui apparaît dans l'onglet OK de la page des détails du workflow.

• Déclenchement manuel : exécute le workflow une fois immédiatement. Cette option est utile pour les tests ou le traitement à la demande.

  Dans la colonne Overview du workflow cible, cliquez sur Actions. Dans la boîte de dialogue qui s'affiche, sélectionnez Execute puis cliquez sur Manual trigger. Chaque opération déclenche une exécution du workflow.

• Planification périodique : une fois activée, le workflow s'exécute automatiquement à l'heure planifiée.

  Vous devez activer l'OK du workflow cible pour qu'il s'exécute à l'heure planifiée.

Backfill de données

Le backfill de données complète ou met à jour les données dans une plage de temps spécifique. Les cas d'utilisation courants incluent le retraitement des données historiques provenant de sources en amont, la correction des tables de dimension ou le remplissage rétroactif des données pour de nouvelles intégrations.