Cette version inclut des mises à jour de la plateforme et du moteur, des mises à jour des connecteurs, des optimisations des performances et des corrections de bugs pour Realtime Compute for Apache Flink.
Le déploiement de la mise à niveau s'effectue de manière incrémentielle selon un plan de publication canari. Les nouvelles fonctionnalités sont disponibles uniquement une fois la mise à niveau terminée pour votre compte. Pour demander un accès anticipé, soumettez un ticket. Pour consulter le calendrier de mise à niveau le plus récent, reportez-vous à l'annonce située dans la partie droite de la console Realtime Compute for Apache Flink.
Présentation
Mises à jour de la plateforme
Ingestion de données via des déploiements YAML (aperçu public) : Flink Change Data Capture (CDC) prend désormais en charge un module d'ingestion de données dédié basé sur Flink CDC 3.0. Initialement développé par Alibaba et offert à l'Apache Software Foundation, Flink CDC a évolué d'une source Flink pour la capture de données modifiées vers un framework ETL (extraction, transformation et chargement) en continu basé sur Flink. Les déploiements YAML vous permettent de définir des pipelines de synchronisation de données de bout en bout avec moins de frais de configuration que les déploiements SQL ou JAR.
Améliorations de l'orchestration des tâches : CloudMonitor peut désormais envoyer des alertes d'événements de workflow via DingTalk et des appels téléphoniques, en plus des canaux existants. Les variables dynamiques sont également prises en charge, ce qui permet d'exécuter périodiquement la même tâche avec différentes valeurs de paramètres sans modifier le code.
Gestion des variables (anciennement hébergement de clés) : La fonctionnalité d'hébergement de clés est renommée « gestion des variables » et étendue aux déploiements JAR et Python. Auparavant limitée aux déploiements SQL, elle vous permet désormais de stocker et de référencer des variables en texte clair et chiffrées pour tous les types de déploiement.
Réorganisation de la navigation de gauche : Le volet de navigation de gauche de la console de développement est réorganisé afin de regrouper les modules connexes. Avec l'ajout de nouveaux modules tels que l'ingestion de données, la nouvelle disposition facilite la recherche des fonctionnalités sans avoir à faire défiler une liste plate.
Mises à jour du moteur
Ververica Runtime (VVR) 8.0.9 est désormais disponible, basé sur Apache Flink 1.17.2. Une fois la mise à niveau canari terminée pour votre compte, mettez à niveau le moteur VVR pour vos déploiements. Pour plus d'informations, consultez Mettre à niveau la version du moteur d'un déploiement.
Principales mises à jour de VVR 8.0.9 :
MySQL CDC : Les paramètres du thread d'analyse du journal binaire sont configurables pour augmenter le débit d'analyse concurrente du journal binaire.
Connecteur Kafka : L'algorithme de compression Zstandard et le format Protobuf intégré sont désormais pris en charge.
Connecteur Redis : Les performances d'écriture du puits sont améliorées et les paramètres du pool de connexions sont configurables pour une gestion des connexions plus flexible.
Connecteur Paimon : Les actions de suppression sont prises en charge pour les puits Paimon, ce qui facilite la mise en œuvre des mises à jour partielles des données.
Fonctionnalités
|
Fonctionnalité |
Description |
Références |
|
Module d'ingestion de données (aperçu public) |
Définissez des pipelines de synchronisation de données de bout en bout en YAML basés sur Flink CDC 3.0, sans écrire de tâches SQL ou JAR. Réduit les frais de configuration pour les équipes gérant des workflows CDC à volume élevé. |
Développer des tâches d'ingestion de données Flink CDC (aperçu public) |
|
Intégration de Data Lake Formation (DLF) 2.0 |
Lorsque vous sélectionnez DLF 2.0 comme type de stockage de métadonnées pour un catalogue Paimon, la configuration de la paire AccessKey n'est plus requise ; les autorisations sont résolues automatiquement. |
|
|
Simplification des autorisations d'accès DLF |
Les autorisations liées à DLF sont automatiquement accordées lorsque vous créez un espace de travail Realtime Compute for Apache Flink pour la première fois. Les utilisateurs existants reçoivent ces autorisations par défaut, ce qui supprime une étape de configuration manuelle. |
|
|
Création rapide de cluster de session |
Si aucun cluster de session n'existe lorsque vous exécutez un script de requête, configurez les paramètres clés directement dans l'interface pour créer un environnement d'exécution et exécuter le script immédiatement sans quitter l'éditeur. |
S.O. |
|
Améliorations de l'orchestration des tâches |
L'alerte de workflow prend désormais en charge les alertes d'événements CloudMonitor envoyées via DingTalk et des appels téléphoniques, ce qui vous offre plus d'options de notification en cas d'échec des tâches ou de dépassement des seuils. |
|
|
Gestion des variables (anciennement hébergement de clés) |
L'hébergement de clés est renommé « gestion des variables » et étendu aux déploiements JAR et Python. Référencez des variables en texte clair ou chiffrées dans tous les types de déploiement, pas seulement en SQL. |
|
|
Réorganisation de la navigation de la console de développement |
Le volet de navigation de gauche est réorganisé pour regrouper logiquement les nouveaux modules tels que l'ingestion de données, facilitant ainsi la localisation des fonctionnalités à mesure que la console s'étend. |
S.O. |
|
Connecteur MySQL : threads d'analyse du journal binaire configurables |
Configurez les paramètres du thread d'analyse du journal binaire pour augmenter le débit d'analyse concurrente du journal binaire pour les charges de travail MySQL CDC à volume élevé. |
|
|
Connecteur Kafka : compression Zstandard et format Protobuf |
|
|
|
Connecteur Redis : performances du puits améliorées et pools de connexions |
|
|
|
Refonte du connecteur Simple Log Service |
|
|
|
Connecteur Paimon : prise en charge de l'action de suppression |
Configurez la sémantique des messages de rétractation (suppression ou mise à jour) pour améliorer les performances des actions de suppression sur les puits Paimon, rendant les mises à jour partielles des données plus efficaces. |
|
|
Table de dimension MongoDB : recherche ObjectId |
Le champ |
|
|
Connecteur StarRocks : fiabilité d'écriture améliorée |
Le mécanisme de nouvelle tentative d'écriture est optimisé pour les exceptions réseau, et la valeur par défaut de |
|
|
Connecteur ApsaraDB for HBase : gestion des champs null |
Les champs |
|
|
Connecteur Lindorm : mises à jour de colonnes sélectives |
Écrivez des données dans une table de résultats et excluez des colonnes spécifiques des opérations de mise à jour, vous offrant ainsi un contrôle plus précis sur les champs écrasés. |
Problèmes corrigés
MySQL CDC : Lors de la consommation à partir d'un point de contrôle spécifié, MySQL CDC échouait à récupérer après un basculement primaire/secondaire. Ce problème est maintenant corrigé.
Connecteur StarRocks : L'utilisation de l'instruction CREATE TABLE AS dans VVR 8.0.8 provoquait une erreur
java.lang.ClassNotFoundException. Ce problème est maintenant corrigé.Connecteur Elasticsearch : La version V8 n'était pas prise en charge lors de la connexion via la console Realtime Compute for Apache Flink. Ce problème est maintenant corrigé.
Connecteur Hologres : Le connecteur vérifiait inutilement l'ID de table au démarrage. Cette vérification forcée est désormais supprimée.