Flink figure parmi les moteurs de traitement de flux les plus actifs, avec des mises à jour fréquentes. Mettre à niveau votre job vers une version récente vous permet de bénéficier de nouvelles fonctionnalités. Cette rubrique explique comment mettre à niveau la version du moteur pour les jobs Realtime Compute for Apache Flink.
Notes importantes
Avant de publier une nouvelle version du moteur, Realtime Compute for Apache Flink effectue des tests de compatibilité approfondis. En règle générale, les mises à niveau entre versions mineures d'une même version majeure sont compatibles. En revanche, la compatibilité n'est pas garantie lors des mises à niveau entre versions majeures. Pour plus de détails sur les versions du moteur et la compatibilité des Savepoint entre les versions Flink, consultez Numéros de version du moteur et leur signification ainsi que le Tableau de compatibilité.
Lors du changement de version d'un job, tenez compte des points suivants :
L'état reste compatible lors des mises à niveau de version mineure. Vous pouvez utiliser les checkpoints système ou les snapshots de job créés avant le changement de version (par exemple, lors du passage de vvr-4.0.15-flink-1.13 à vvr-4.0.18-flink-1.13).
L'état n'est pas compatible lors des changements de version majeure. Redémarrez le job sans état (par exemple, lors du passage de vvr-4.0.15-flink-1.13 à vvr-6.0.2-flink-1.15).
Les versions des dépendances liées à Flink dans votre job SQL ou DataStream doivent correspondre à la version Flink sélectionnée pour ce job.
À partir de Flink 1.13.0, la communauté a adopté BlinkPlanner (contribué par Alibaba) comme SQL Planner par défaut, ce qui introduit certaines différences par rapport aux versions antérieures. Pour plus de détails, reportez-vous à l'Annonce de la version Apache Flink 1.13.0. Par conséquent, lors de la migration depuis une version communautaire Flink antérieure à 1.13.0 vers VVR 4.0 (basée sur Flink 1.13.0) ou ultérieure dans Realtime Compute for Apache Flink, vous risquez de rencontrer des incompatibilités de syntaxe et d'API.
Procédure de mise à niveau
Étape 1 : Sauvegarder le job et déployer un nouveau job
Pour garantir la stabilité du job, clonez le job existant afin d'en créer une copie identique, puis mettez à niveau la version du moteur sur ce nouveau job.
SQL
Connectez-vous à la console Realtime Compute. Cliquez sur Console dans la colonne Actions correspondant à votre espace de travail cible.
-
Sauvegardez le job SQL d'origine.
Dans la page , ouvrez le brouillon de votre job cible.
Cliquez sur Save As au-dessus du nom du job.
Saisissez un Name, sélectionnez un Location, puis cliquez sur Save.
-
Basculez le nouveau job vers la nouvelle version du moteur.
Privilégiez une version STABLE ou RECOMMENDED. Ces versions corrigent les bugs et problèmes connus, offrent les fonctionnalités les plus récentes et garantissent une meilleure stabilité.
Cliquez sur Configurations sur le côté droit de l'éditeur du nouveau job. Modifiez la Engine Version, puis cliquez sur Deploy dans le coin supérieur droit.
-
Sur la page , cliquez sur le nom du job cible. Dans l'onglet Configuration, sous Basic, vérifiez que la version du job déployé a bien été modifiée.
Consultez le champ Engine Version pour confirmer qu'il affiche la version cible (par exemple,
vvr-8.0.9-flink-1.17).
DataStream
Connectez-vous à la console Realtime Compute. Cliquez sur Console dans la colonne Actions correspondant à votre espace de travail cible.
-
Sauvegardez le job DataStream d'origine et sélectionnez la nouvelle version du moteur pour le nouveau job.
Privilégiez une version STABLE ou RECOMMENDED. Ces versions corrigent les bugs et problèmes connus, offrent les fonctionnalités les plus récentes et garantissent une meilleure stabilité.
Dans la page , ouvrez le job cible.
Cliquez sur Clone dans le coin supérieur droit.
Mettez à jour le Deployment Name et sélectionnez la nouvelle Engine Version.
Cliquez sur Deploy.
Étape 2 : Sauvegarder l'état du job
Sur la page , cliquez sur le job cible. Dans l'onglet State des détails du job, consultez les ensembles d'états du job. Pour plus d'informations, voir Vue d'ensemble de la génération d'états.
-
Si votre job effectue des calculs avec état, déterminez si cet état peut être réutilisé lors de la mise à niveau.
Avant la mise à niveau, créez manuellement un snapshot du job afin de pouvoir revenir rapidement en arrière en cas de problème. Pour obtenir des instructions, consultez Créer manuellement un snapshot de job.
ImportantEn règle générale, les mises à niveau entre versions mineures d'une même version majeure sont compatibles. La compatibilité n'est pas garantie lors des mises à niveau entre versions majeures. Si elles sont compatibles, la nouvelle version du moteur peut lire les snapshots générés par l'ancienne version, mais l'inverse n'est pas nécessairement vrai.
À partir de VVR 6.x, le système prend en charge deux formats de snapshot : natif et standard. Le format natif offre une génération plus rapide, tandis que le format standard assure une meilleure compatibilité. Pour une mise à niveau vers une version mineure supérieure au sein de la même version majeure, utilisez le format natif. Pour une mise à niveau vers une version majeure supérieure, privilégiez le format standard.
Si votre job est sans état, passez à l'étape suivante.
(Facultatif) Étape 3 : Arrêter le job d'origine
Sur la page , cliquez sur Stop dans la colonne Actions du job d'origine. Pour plus de détails, consultez Arrêter un job.
Si vos écritures en aval sont idempotentes ou si votre activité tolère les données dupliquées, envisagez d'exécuter simultanément l'ancien et le nouveau job.
Étape 4 : Démarrer le nouveau job
Pour un job avec état : Sous Stateful Start, sélectionnez Specific State et choisissez le snapshot créé à partir du job d'origine.
Pour un job sans état, sélectionnez Stateless pour démarrer le nouveau job.
Pour connaître les étapes détaillées de démarrage, consultez Démarrer un job.
Étape 5 : Surveiller le comportement en production et supprimer le job d'origine
Généralement, si le job mis à niveau démarre correctement et termine son premier checkpoint système, la mise à niveau est considérée comme préliminairement réussie. Toutefois, vérifiez l'exactitude de vos données métier pour garantir l'intégrité complète de la mise à niveau.
Après avoir confirmé le bon fonctionnement du job et l'exactitude des données, supprimez manuellement le snapshot du job antérieur à la mise à niveau ainsi que le job lui-même. Pour obtenir des instructions sur la suppression des snapshots, consultez Supprimer manuellement un snapshot de job spécifié.
Restauration après échec de la mise à niveau
Si le job ne parvient pas à démarrer ou produit des données incorrectes après la mise à niveau, arrêtez-le immédiatement, revenez à la version du moteur précédente et restaurez les opérations à l'aide du snapshot enregistré avant la mise à niveau. Pensez également à soumettre un ticket pour signaler le problème.
Si vous ne pouvez pas surveiller l'ensemble du processus de mise à niveau, configurez des alertes d'échec de job pour recevoir des notifications immédiates en cas d'anomalie et éviter tout impact sur votre activité. Pour obtenir des instructions, consultez Configurer la surveillance.