Configurer un job Flink - Realtime Compute for Apache Flink - Centre de documentation Alibaba Cloud

Prérequis

Avant de commencer, assurez-vous de disposer :

Des autorisations nécessaires pour accéder à un namespace et configurer les ressources du job. Pour plus d'informations, consultez la rubrique Accorder des autorisations sur les namespaces.
D'un déploiement déjà créé. Pour plus d'informations, consultez la documentation Déployer un job.

Configurer les paramètres de déploiement

Connectez-vous à la console Realtime Compute for Apache Flink.
Localisez l'espace de travail et cliquez sur Console dans la colonne Actions.
Dans le volet de navigation de gauche, sélectionnez O&M > Deployments. Sur la page Deployments, cliquez sur le nom du déploiement.
Sous l'onglet Configuration, repérez la section à modifier et cliquez sur Edit en haut à droite.
Modifiez les paramètres dans les sections suivantes :
- Basic
- Resources
- Parameters
- Logging
Cliquez sur Save.

Basic

Les paramètres suivants sont disponibles dans la section Basic. Leur disponibilité dépend du type de déploiement.

Paramètre	Type de déploiement	Description
Engine Version	SQL, JAR, Python	La version du moteur Flink à utiliser.
Additional Dependencies	SQL, JAR, Python	Les fichiers de dépendances supplémentaires pour le déploiement.
Description	SQL, JAR, Python	Une description textuelle du déploiement.
Label	SQL, JAR, Python	Les libellés permettant d'organiser et d'identifier le déploiement.
JAR Uri	JAR	L'URI du fichier JAR à exécuter.
Entry Point Class	JAR	Le nom qualifié complet de la classe principale.
Entry Point Main Arguments	JAR, Python	Les arguments transmis au point d'entrée.
Kerberos Name	JAR, Python	Le nom principal Kerberos utilisé pour l'authentification.
Python Uri	Python	L'URI du fichier Python à exécuter.
Entry Module	Python	Le module Python à utiliser comme point d'entrée.
Python Libraries	Python	Les dépendances de bibliothèques Python supplémentaires.
Python Archives	Python	Les fichiers d'archive requis par le job Python.

Pour obtenir des détails sur les paramètres, consultez la rubrique Développer un brouillon SQL (déploiements SQL) ou la documentation Déployer un job (déploiements JAR et Python).

Remarque

Pour les déploiements SQL, un clic sur Edit dans la section Basic affiche un message de confirmation. Cliquez sur OK pour confirmer ; vous serez alors redirigé vers la page SQL Editor afin de modifier et de redéployer le déploiement.

Parameters

Checkpointing

Paramètre	Description
Checkpointing Interval	La fréquence de génération des points de contrôle. Si ce paramètre n'est pas défini, la fonction de point de contrôle est désactivée.
Checkpointing Timeout time	La durée maximale autorisée pour qu'un point de contrôle se termine. Valeur par défaut : 10 minutes. Si un point de contrôle ne se termine pas dans ce délai, il échoue.
Min Interval Between Checkpoints	L'intervalle minimal entre deux points de contrôle consécutifs. Lorsque le parallélisme maximal des points de contrôle est égal à 1, ce paramètre définit l'intervalle minimal entre les points de contrôle.

State expiration

Paramètre	Description
State Expiration Time	La durée de vie (TTL) des données d'état d'un déploiement. Valeur par défaut : 36 h. Les données d'état non consultées pendant cette période sont automatiquement supprimées du backend d'état, libérant ainsi de la mémoire.

Important

La valeur TTL par défaut de 36 heures repose sur les meilleures pratiques d'Alibaba Cloud et diffère de la valeur par défaut d'Apache Flink (0), qui signifie que les données d'état n'expirent jamais. Définissez la TTL en fonction de vos modèles d'accès aux données afin d'équilibrer la précision des calculs et l'utilisation de la mémoire.

Fonctionnement des données d'état :

Lorsque les données entrent pour la première fois dans le système, elles sont stockées dans le backend d'état. Si des données ayant la même clé primaire arrivent à nouveau, Flink calcule sur l'état stocké et met à jour l'heure du dernier accès. Si les données ne sont pas consultées à nouveau durant la période TTL, Flink les considère comme expirées et les supprime. La réduction de la TTL diminue la consommation de mémoire et améliore la stabilité du système, mais peut affecter la précision des données arrivant avec retard.

Restart policy

Flink contrôle le comportement de redémarrage des jobs grâce à deux mécanismes indépendants : la politique de redémarrage du job et la politique de récupération après échec des tâches.

Job restart policy

La politique de redémarrage du job détermine si et comment le job redémarre après un échec.

Comportement par défaut (lorsqu'aucune politique n'est explicitement définie) :

Si la fonction de point de contrôle est activée : le job redémarre en utilisant le mode Fixed Delay.
Si la fonction de point de contrôle est désactivée : le job ne redémarre pas.

Remplacez le comportement par défaut en sélectionnant l'une des politiques suivantes :

Politique	Description	Paramètres supplémentaires
No Restarts	Le job ne redémarre pas en cas d'échec.	—
Fixed Delay (par défaut)	Le job redémarre à intervalle fixe après chaque échec.	Number of Restart Attempts, Delay Between Restart Attempts
Failure Rate	Le job redémarre tant que le taux d'échec reste inférieur à un seuil défini.	Failure Rate Interval, Max Failures per Interval, Delay Between Restart Attempts

Task failure recovery policy

La politique de récupération après échec des tâches détermine quelles tâches sont redémarrées lorsqu'une erreur survient. Configurez-la en définissant le paramètre jobmanager.execution.failover-strategy dans le champ Other Configuration.

Valeur	Comportement
`full`	Redémarre l'intégralité du job lorsqu'une tâche échoue.
`region` (par défaut)	Redémarre uniquement l'ensemble minimal de tâches nécessaire pour récupérer la région en pipeline ayant échoué, sans affecter les autres régions.

Remarque

Lorsque le paramètre failover-strategy est défini sur region, différentes régions peuvent présenter des horodatages de démarrage distincts après la récupération ; il s'agit d'un comportement attendu.

Pour plus d'informations, consultez la documentation Apache Flink relative à la Récupération après échec des tâches.

Other configuration

Utilisez le champ Other Configuration pour définir des paramètres Flink supplémentaires sous forme de paires clé-valeur, par exemple :

akka.ask.timeout: 10
jobmanager.execution.failover-strategy: full

Remarque

Les paramètres de type GC (tels que -XX:+UseG1GC) ne peuvent pas être modifiés via env.java.opts.

Logging

Paramètre	Description
Log Archiving	Indique si l'archivage des journaux est activé. Activé par défaut. Lorsqu'il est activé, les journaux historiques du déploiement sont disponibles sous l'onglet Logs. Dans VVR 3.X, seule la version VVR 3.0.7 et ultérieure prend en charge l'archivage des journaux. Dans VVR 4.X, seule la version VVR 4.0.11 et ultérieure prend en charge l'archivage des journaux. Pour plus d'informations, consultez la rubrique Consulter les journaux d'un déploiement historique.
Log Archives Expires	La durée de conservation des journaux archivés. Valeur par défaut : 7 jours.
Root Log Level	Le niveau de gravité minimal à journaliser. Niveaux classés par ordre croissant d'urgence : TRACE, DEBUG, INFO, WARN, ERROR.
Log Levels	Paires personnalisées de nom de journal et de niveau pour des enregistreurs spécifiques.
Logging Profile	Le modèle de journal à utiliser. Sélectionnez default ou Custom Template. L'option Custom Template vous permet d'exporter les journaux vers un stockage externe. Pour plus d'informations, consultez la rubrique Configurer les paramètres pour exporter les journaux d'un déploiement.

Références

Pour contrôler la taille de l'état au niveau de l'opérateur à l'aide de la TTL, consultez la section « State TTL hints » de la rubrique Indices.
Les paramètres de journalisation de cette page s'appliquent à un seul déploiement. Pour configurer l'exportation des journaux pour tous les déploiements d'un namespace, consultez la rubrique Configurer les paramètres pour exporter les journaux d'un déploiement.