Cette rubrique présente les principales mises à jour fonctionnelles et les corrections de bugs majeurs apportées à Realtime Compute for Apache Flink, publiées le 13 avril 2023.
Le déploiement de cette version s'effectue par étapes dans toutes les régions. Il devrait être entièrement achevé entre le 13 avril 2023 et le 15 août 2023. Si les nouvelles fonctionnalités n'apparaissent pas dans la console, c'est que le déploiement progressif n'est pas encore terminé dans votre région. Pour accélérer la mise à niveau, soumettez un ticket. Nous traiterons votre demande en fonction des conditions actuelles. Pour consulter le calendrier de déploiement le plus récent, vérifiez les annonces situées sur le côté droit de la page de la console Realtime Compute.
Vue d'ensemble
Realtime Compute for Apache Flink a publié une nouvelle version le 13 avril 2023. Cette mise à jour inclut des améliorations de la plateforme, des mises à niveau du moteur, des mises à jour des connecteurs, des optimisations des performances et des corrections de bugs.
La mise à jour du moteur introduit Ververica Runtime (VVR) 6.0.6, un moteur Flink de niveau entreprise basé sur Apache Flink 1.15.3. En tant que fonctionnalité en aperçu, cette version ajoute la prise en charge d'Apache Paimon (en incubation), une technologie de stockage de lac de données en continu qui offre une ingestion de données à haut débit et faible latence, des abonnements en continu et des requêtes en temps réel.
La mise à jour de la plateforme améliore plusieurs fonctionnalités courantes. Elle restructure la navigation de premier niveau dans la console de développement et simplifie les flux de travail de développement et d'exploitation des jobs. Ces modifications améliorent l'utilisabilité et renforcent les capacités d'alerte.
Une fois le déploiement par étapes terminé, la plateforme se mettra à niveau automatiquement. Les versions du moteur des jobs seront mises à niveau sous deux semaines. Après la mise à niveau, vous pourrez sélectionner la nouvelle version du moteur dans la liste des moteurs sur la page des détails du job. Essayez les nouvelles fonctionnalités de la plateforme. Mettez à niveau vos jobs vers la nouvelle version du moteur. Partagez vos commentaires et votre expérience avec nous.
Présentation des fonctionnalités
Fonctionnalité | Détails | Références |
Prise en charge du lac de données en continu Apache Paimon | En tant que fonctionnalité en aperçu, le moteur prend en charge la lecture et l'écriture dans Paimon sur Alibaba Cloud Object Storage Service (OSS). | |
Prise en charge du catalogue Apache Paimon | Utilisez le catalogue Apache Paimon intégré pour créer des solutions de lac de données en temps réel avec Flink SQL. | |
Prise en charge de l'écriture en continu OSS-HDFS | Écrivez directement les données en continu dans OSS-HDFS pour élargir les options de stockage des données. | |
Mises à jour des métriques de surveillance |
| |
Prise en charge de la table de destination Tair | Ajoutez Tair en tant qu'option de table de destination pour élargir les choix de stockage des données. | - |
Amélioration de EXPLAIN pour Stream SQL | Ajout du mode plan_advice pour fournir des suggestions d'optimisation détaillées. | Aucune |
Optimisation dynamique du CEP | Prise en charge des expressions Groovy pour les conditions. Optimisation des implémentations NFA et SharedBuffer. Réduction de la création de minuteurs et amélioration des performances. | |
Prise en charge de Flink ML | En tant que fonctionnalité en aperçu, le moteur prend en charge Flink ML pour simplifier l'apprentissage automatique en temps réel. | - |
Optimisation du flux de travail de développement des jobs | La page de développement des jobs est optimisée pour devenir une page de développement SQL. Cette page fournit une plateforme dédiée au développement SQL :
| |
Optimisation du déploiement des jobs Jar et Python | Optimisation du flux de création. Déployez les jobs Jar et Python directement depuis la page d'exploitation et de maintenance des jobs. | |
Optimisation du flux de démarrage des jobs | Déplacement des configurations des ressources et de Flink Conf vers la page des détails du déploiement. Ajustez les ressources sans arrêter le job. Lors du démarrage, définissez uniquement le décalage de départ. | |
Nouvelle page de métadonnées | La communauté Flink décourage l'utilisation de tables temporaires. Utilisez plutôt des catalogues pour créer des jobs SQL et éviter les instructions DDL répétitives. Cette version améliore les capacités de gestion des métadonnées. Utilisez davantage les métadonnées dans les jobs SQL pour simplifier la gestion. | Aucune |
Optimisation du flux de débogage des jobs SQL | Optimisation du débogage des jobs SQL. Vous n'avez plus besoin de configurer un cluster de session de débogage. Sélectionnez simplement le cluster de session lors du débogage. Cela évite les changements fréquents de cluster lorsque plusieurs versions de job existent. | |
Nouvelle page de sécurité | Combinaison de l'autorisation des utilisateurs et de l'hébergement des clés (auparavant substitution de variables) en une seule page de sécurité. Configurez tous les paramètres de sécurité de la plateforme ici. | |
Nouvelle page de connecteurs | Affichage des jobs de connecteurs sur une page dédiée. Consultez les types et versions de connecteurs pris en charge par moteur. Gérez les connecteurs personnalisés. | |
Alertes en cas d'échec de job avec alertes téléphoniques et recherche de contacts | Mise à niveau de la surveillance et des alertes :
| |
Connexion au compte basée sur les rôles | Connectez-vous à la console Flink à l'aide d'un compte basé sur un rôle. Les comptes de rôle ne peuvent pas recevoir d'autorisations assignées. Ils utilisent les autorisations du propriétaire par défaut. | - |
Test de connectivité réseau | Testez la connectivité réseau entre l'environnement de votre job Flink et les systèmes amont ou aval en saisissant une adresse IP ou un nom de domaine. | Aucun |
Prise en charge des catalogues personnalisés | Enregistrez les métadonnées via des catalogues. Évitez les instructions DDL répétitives pour créer des tables temporaires lors de la création de jobs SQL. La console de développement Realtime Compute inclut des catalogues intégrés. Vous pouvez également enregistrer et utiliser des JAR de catalogue personnalisés. | - |
Diagnostic intelligent amélioré | Analyse des journaux d'erreurs issus du développement et de l'exécution des jobs. Lors de l'affichage des journaux, le système analyse automatiquement le contenu et suggère des actions correctives. | |
Mise à niveau du client du connecteur SLS | Amélioration des performances et de la stabilité du connecteur SLS. | Aucune |
Extension SQL CEP | Le SQL CEP prend en charge les déclarations de continuité de boucle avec la syntaxe UNTIL. | Aucune |
Corrections de bugs
Correction d'un bug où les valeurs NULL s'affichaient comme TRUE lors du débogage des jobs.
Correction d'un bug où un service de métadonnées indisponible entraînait l'échec de tous les services de métadonnées lorsque plusieurs services étaient enregistrés.
Correction d'une erreur de récupération d'état survenant lors du basculement d'un job d'un cluster de session vers un cluster pré-job.
Correction d'une erreur de validation survenant lors de la jointure d'une table de dimension Hologres avec une table source Hologres.
Correction du backoff anormal des décalages de consommateur pour les tables sources SLS.