Configurer le réglage automatique - Realtime Compute for Apache Flink

Choisir un mode de réglage

Mode de réglage	Cas d'usage	Fonctionnement	Références
Autopilot	Charges de travail variables ou imprévisibles nécessitant une réponse automatique du système aux variations de CPU, de mémoire ou de latence.	Le système surveille en continu les métriques en temps réel et ajuste le parallélisme, le CPU et la mémoire sans intervention manuelle.	Activer et configurer Autopilot
Réglage planifié	Trafic suivant un schéma prévisible (pics quotidiens, heures creuses) permettant de planifier les modifications de ressources à l'avance.	Vous définissez des plans de ressources temporels. Le système les applique aux heures de déclenchement configurées.	Configurer et appliquer un plan de réglage planifié

Remarque

Ces deux modes sont mutuellement exclusifs. Désactivez le mode actif avant de passer à l'autre.

Limites et considérations

Checkpoints non alignés : Impossible de modifier le parallélisme des tâches lorsque les checkpoints non alignés sont activés.

Clusters de session : Autopilot ne prend pas en charge les tâches s'exécutant sur des clusters de session.

Tâches développées en YAML : Le réglage automatique ne prend pas en charge les tâches développées en YAML.

Parallélisme codé en dur : Ne codez pas le parallélisme en dur dans les tâches Flink SQL utilisant un connecteur personnalisé ni dans les tâches DataStream API. Les valeurs codées en dur remplacent les configurations de réglage automatique.

Nombre maximal de plans de ressources : La création est limitée à 20 plans de ressources.

Plans mutuellement exclusifs : Un seul plan de réglage planifié peut être appliqué à la fois. Arrêtez le plan actif avant d'en appliquer un autre.

Redémarrages de tâches : Le réglage automatique peut entraîner le redémarrage des tâches et interrompre momentanément la consommation de données.

Remarque

Pour Ververica Runtime (VVR) 8.0.1 et versions ultérieures, le système tente d'abord une mise à jour dynamique de la configuration avant de redémarrer le déploiement. Les mises à jour dynamiques réduisent les temps d'arrêt de 30 % à 98 % par rapport à un redémarrage complet. Actuellement, seul le parallélisme des tâches admet la mise à jour dynamique. Pour plus de détails, consultez

Mises à jour dynamiques de configuration

.

Comportement lors de la modification des ressources : Lors de l'application des changements par le réglage automatique, le système compare les configurations avant et après pour déterminer la méthode de mise à jour. Toute modification de CPU ou de mémoire entraîne le redémarrage du déploiement. Si seul le parallélisme change, une mise à jour dynamique s'applique pour minimiser les temps d'arrêt.

Goulots d'étranglement des performances : Autopilot ne résout pas tous les goulots d'étranglement des performances en streaming. Il fonctionne optimalement lorsque le trafic évolue de manière fluide, en l'absence de déséquilibre des données et si le débit des opérateurs augmente linéairement avec le parallélisme. En dehors de ces conditions, vous pouvez observer :

Des échecs de modification du parallélisme ou des redémarrages répétés de la tâche sans atteinte d'un état stable.
Une dégradation des performances des fonctions scalaires définies par l'utilisateur (UDF), des fonctions d'agrégation définies par l'utilisateur (UDAF) ou des fonctions à valeur de table définies par l'utilisateur (UDTF).

Problèmes liés aux systèmes externes : Autopilot ne détecte pas les problèmes provenant de systèmes externes. Si un système externe tombe en panne ou répond lentement, Autopilot risque d'augmenter le parallélisme des tâches, ajoutant ainsi de la charge à un système déjà sollicité. Les problèmes courants liés aux systèmes externes incluent :

Un nombre insuffisant de partitions DataHub ou un faible débit sur ApsaraMQ for RocketMQ.
De faibles performances de l'opérateur sink.
Des interblocages sur les bases de données ApsaraDB RDS.

Activer et configurer Autopilot

Stratégies Autopilot

Sélectionnez une stratégie selon les caractéristiques de votre charge de travail :

Stratégie	Idéal pour	Fonctionnement
Stratégie adaptative (recommandée)	Charges de travail variables, sensibilité élevée à la latence, déséquilibre des données ou répartition inégale de la charge.	Ajuste en continu la configuration des ressources selon les métriques en temps réel pour répondre rapidement aux changements de demande.
Stable strategy	Charges de travail stables et prévisibles où les redémarrages sont coûteux et où la convergence vers un plan fixe est préférable.	Cible un plan de ressources fixe ou planifié pour tout le cycle d'exécution de la tâche. Une fois les configurations convergées, le système génère un plan de ressources que vous pouvez enregistrer et réutiliser. Les redémarrages de tâches ou les mises à jour à chaud réinitialisent le processus de convergence.

Procédure

Accédez à la page de configuration d'Autopilot.
1. Connectez-vous à la console Realtime Compute for Apache Flink.
2. Localisez l'espace de travail cible et cliquez sur Console dans la colonne Actions.
3. Dans le volet de navigation de gauche, choisissez O&M > Deployments, puis cliquez sur le nom du déploiement cible.
4. Sous l'onglet Resources, sélectionnez le sous-onglet Autopilot Mode.
Activez Autopilot. Le message Autopilot Mode Applying apparaît sous l'onglet Resources. Pour désactiver Autopilot, désactivez le commutateur ou cliquez sur Turn Off Autopilot.

Dans la section Configurations, cliquez sur Edit, sélectionnez une stratégie et configurez les paramètres.

(Recommandé) Stratégie adaptative

Paramètres de la stratégie adaptative

Paramètre	Description
Max CPU	Nombre maximal de cœurs CPU utilisables par la tâche. Valeur par défaut : 64 cœurs.
Max Memory	Quantité maximale de mémoire utilisable par la tâche. Valeur par défaut : 256 GiB.
Max Parallelism	Parallélisme maximal de la tâche. Valeur par défaut : 1 024. Lors de l'intégration avec ApsaraMQ for Kafka, Message Queue, Simple Log Service ou d'autres services de file d'attente de messages, le système plafonne automatiquement cette valeur au nombre de partitions si la valeur configurée le dépasse.
Min Parallelism	Parallélisme minimal de la tâche. Valeur par défaut : 1.
Scale Up Rules	Conditions déclenchant une montée en charge. La satisfaction d'une seule condition suffit à déclencher l'action. Conditions configurables : < br > - Les retards restent supérieurs à un seuil pendant une durée spécifiée. < br > - Le taux d'occupation moyen d'un opérateur reste supérieur à un seuil pendant une durée spécifiée. < br > - L'utilisation de la mémoire d'un TaskManager reste supérieure à un seuil pendant une durée spécifiée. < br > - Une erreur de mémoire insuffisante (OOM) se produit. < br > - Le temps passé par le TaskManager ou le JobManager dans le ramasse-miettes par seconde reste supérieur à un seuil pendant une durée spécifiée. < br > Remarque Définissez les seuils selon les données historiques ou commencez par des valeurs plus larges à resserrer progressivement. Les pourcentages de seuil varient de 0 à 100 %. Définir une durée appropriée permet de filtrer les fluctuations brèves et d'éviter les montées en charge dues à des pics transitoires. L'option OOM s'active ou se désactive uniquement ; aucun seuil n'est requis.
Scale Down Rules	Conditions déclenchant une descente en charge. La satisfaction d'une seule condition suffit à déclencher l'action. Conditions configurables : <br>- Le taux d'occupation moyen d'un opérateur reste inférieur à un seuil pendant une durée spécifiée. <br>- L'utilisation de la mémoire d'un TaskManager reste inférieure à un seuil pendant une durée spécifiée.
Advanced Rules	Actuellement en phase de test et non disponible publiquement. Contactez-nous pour activer les règles avancées.

Stable strategy

Paramètres de la stratégie stable

Paramètre	Description
Cooldown Minutes	Intervalle minimal entre les redémarrages déclenchés par Autopilot. Valeur par défaut : 10 minutes.
Max CPU	Nombre maximal de cœurs CPU utilisables par la tâche. Valeur par défaut : 16 cœurs.
Max Memory	Quantité maximale de mémoire utilisable par la tâche. Valeur par défaut : 64 GiB.
Max Delay	Retard source maximal autorisé. Valeur par défaut : 1 minute.
More Configurations	Paramètres avancés (voir le tableau ci-dessous).

Stratégie stable : paramètres avancés

Paramètre	Description	Valeur par défaut
`mem.scale-down.interval`	Intervalle minimal entre les réductions de mémoire. Lorsque l'utilisation de la mémoire reste inférieure au seuil défini durant cette fenêtre, le système ajuste ou recommande une réduction de la mémoire.	4 heures
`parallelism.scale.max`	Parallélisme maximal. `-1` signifie illimité. Lors de l'intégration avec ApsaraMQ for Kafka, Message Queue, Simple Log Service ou d'autres services de file d'attente de messages, le système plafonne automatiquement cette valeur au nombre de partitions.	-1
`parallelism.scale.min`	Parallélisme minimal.	1
`delay-detector.scale-up.threshold`	Retard source maximal autorisé avant le déclenchement d'une montée en charge. Si une capacité de traitement insuffisante fait atteindre ce retard, le système augmente le parallélisme ou découple les opérateurs pour améliorer le débit.	1 minute
`slot-usage-detector.scale-up.threshold`	Seuil supérieur du taux d'utilisation des ressources de calcul/IO pour les opérateurs non-source. Flink augmente le parallélisme lorsque le ratio de temps de traitement d'un opérateur reste supérieur à cette valeur.	0.8
`slot-usage-detector.scale-down.threshold`	Seuil inférieur du taux d'utilisation des ressources de calcul/IO pour les opérateurs non-source. Flink réduit le parallélisme lorsque le ratio de temps de traitement d'un opérateur reste inférieur à cette valeur.	0.2
`slot-usage-detector.scale-up.sample-interval`	Intervalle auquel Flink échantillonne les taux d'occupation des opérateurs non-source et les compare aux seuils de montée et de descente en charge.	3 minutes
`resources.memory-scale-up.max`	Taille maximale de la mémoire du TaskManager et du JobManager. Lorsqu'un TaskManager et le JobManager exécutent Autopilot ou augmentent le parallélisme, la limite supérieure de la mémoire est de 16 GiB.	16 GiB

Cliquez sur Save.

Enregistrer un plan de ressources

Lorsqu'une tâche utilisant la stable strategy converge, le système génère un plan de ressources que vous pouvez enregistrer et appliquer. Deux types de plans sont disponibles :

Type de plan	Description	Effet lors de l'application
Plan de ressources fixe	Configuration unique de ressources sans dimension temporelle.	La configuration des ressources du déploiement est mise à jour avec les valeurs enregistrées et appliquée au prochain démarrage.
Scheduled plan (aperçu public)	Configurations multiples de ressources, chacune liée à une période donnée.	Le mode de réglage passe automatiquement au réglage planifié. Les ressources ne sont plus ajustées une fois la tâche stabilisée.

Pour enregistrer et appliquer un plan de ressources fixe :

Dans la bannière Autopilot Mode Applying, cliquez sur Details. Dans le panneau qui s'affiche, définissez Recommended Plan sur Specified resource et cliquez sur Save. Dans la boîte de dialogue de confirmation, cliquez sur Confirm.

Pour enregistrer et appliquer un plan planifié :

Consultez Enregistrer et appliquer un plan planifié.

Configurer et appliquer un plan de réglage planifié

Créer et appliquer un plan planifié

Accédez à la page de configuration des plans planifiés.
1. Connectez-vous à la console Realtime Compute for Apache Flink.
2. Localisez l'espace de travail cible et cliquez sur Console dans la colonne Actions.
3. Dans le volet de navigation de gauche, choisissez O&M > Deployments, puis cliquez sur le nom du déploiement cible.
4. Sous l'onglet Resources, sélectionnez le sous-onglet Scheduled Mode.
Cliquez sur New Plan.
Dans la section Resources du panneau New Plan, configurez le plan :
- Trigger Period: Sélectionnez No Repeat, Every Day, Every Week ou Every Month. Pour les périodes hebdomadaires ou mensuelles, spécifiez les dates d'effet du plan.
- Trigger Time Définissez l'heure à laquelle le plan prend effet.
- Mode: Sélectionnez Basic ou Expert. Pour plus de détails, consultez Configurer les ressources des tâches.
- Autres paramètres : Consultez Configuration des paramètres d'exécution.
(Facultatif) Cliquez sur New Resource Setting Period pour ajouter d'autres périodes au plan et configurer leurs heures de déclenchement ainsi que leurs paramètres de ressources.

Important
L'intervalle entre les heures de déclenchement doit dépasser 30 minutes.
Dans la section Resource Plans du sous-onglet Scheduled Mode, localisez le plan et cliquez sur Apply dans la colonne Actions.

Enregistrer et appliquer un plan planifié

Lorsqu'une tâche utilisant la stable strategy d'Autopilot converge, le système génère automatiquement un plan planifié basé sur l'utilisation observée des ressources. Vous pouvez consulter, modifier, enregistrer et appliquer ce plan.

Accédez à la page de configuration d'Autopilot.
1. Connectez-vous à la console Realtime Compute for Apache Flink.
2. Localisez l'espace de travail cible et cliquez sur Console dans la colonne Actions.
3. Dans le volet de navigation de gauche, choisissez O&M > Deployments, puis cliquez sur le nom du déploiement cible.
4. Cliquez sur l'onglet Resources.
Dans la bannière Autopilot Mode Applying, cliquez sur Details. Dans le panneau qui s'affiche, définissez Recommended Plan sur Scheduled plan.

Configurez le plan :

Action	Description	Notes
Spécifier Max Change Count	Définissez le nombre maximal de modifications de ressources appliquées au plan planifié.	Plage autorisée : 2–5.
Cliquer sur Merge time periods	Fusionnez les périodes selon le nombre maximal de modifications spécifié.	Augmentez ou réduisez les ressources avant la fusion pour répondre à vos besoins métier.

Vérifiez et modifiez les configurations de ressources fusionnées. Pour plus de détails, consultez Configurer les ressources des tâches.
Cliquez sur Save dans le coin inférieur gauche.
Dans la boîte de dialogue, saisissez un Scheduled plan name ou sélectionnez Apply this plan immediately, puis cliquez sur Confirm. Une fois le plan appliqué, le mode de réglage passe automatiquement au réglage planifié. Autopilot cesse d'ajuster les ressources dès que la tâche fonctionne de manière stable.

Exemple

Cet exemple utilise un schéma de trafic quotidien : heures de pointe de 09:00:00 à 19:00:00 avec 30 unités de calcul (CU), et heures creuses de 19:00:00 à 09:00:00 le lendemain avec 10 CU. La configuration du réglage planifié est la suivante.

Le panneau de configuration du réglage planifié Morning Peak and Evening Peak contient deux règles avec les mêmes paramètres de ressources : Job Manager CPU 1 cœur, Mémoire 4 GiB ; Task Manager CPU 1 cœur, Mémoire 4 GiB ; Slot Count par TaskManager est de 4 ; System Checkpoint Interval 0,1 s ; Minimum Interval entre deux checkpoints système 0,1 s ; State Data Expiration Time 0 h ; Flink Restart Strategy est failure-rate.

Étapes suivantes

Utilisez la fonctionnalité de diagnostic intelligent des déploiements pour surveiller l'état de santé des déploiements et assurer la stabilité de vos activités. Pour plus de détails, consultez Effectuer un diagnostic intelligent des tâches.
Améliorez les performances des déploiements Flink SQL grâce aux configurations de déploiement et à l'optimisation des requêtes. Pour plus de détails, consultez Optimiser Flink SQL.