Le déploiement de cette mise à niveau s'effectue de manière progressive selon un plan de déploiement canari. Les nouvelles fonctionnalités sont disponibles uniquement une fois la mise à niveau terminée pour votre compte. Pour demander une mise à niveau anticipée, soumettez un ticket. Pour consulter le calendrier de mise à niveau le plus récent, vérifiez le panneau d'annonces sur la console Realtime Compute for Apache Flink.
Cette version inclut des mises à jour de la plateforme, du moteur et des connecteurs, ainsi que des améliorations des performances et des corrections de bugs.
Présentation
Mises à jour de la plateforme
Facturation hybride : Nouvelle méthode de facturation combinant l'abonnement et le paiement à l'utilisation. Allouez des ressources fixes via l'abonnement pour les charges de travail de base, et des ressources élastiques via le paiement à l'utilisation pour les pics de charge. Utilisez cette option conjointement avec la fonction de réglage automatique de la plateforme pour réaliser des économies supplémentaires.
Refonte de la page d'accueil de la console : La page d'accueil mise à jour offre une vue d'ensemble des ressources et des déploiements, un accès rapide aux fonctionnalités fréquemment utilisées et des liens directs vers la documentation pertinente.
Renommage des brouillons : Renommez les brouillons existants directement depuis la console.
Gestion des versions améliorée : Lorsque les versions du moteur atteignent la fin du support (EOS), les versions EOS les plus récemment utilisées sont conservées afin de permettre un retour en arrière si nécessaire.
Mises à jour du moteur : Ververica Runtime (VVR) 8.0.10
VVR 8.0.10 est basé sur Apache Flink 1.17.2. Une fois la mise à niveau terminée pour votre compte, mettez à niveau vos déploiements vers cette version du moteur. Pour obtenir des instructions, consultez la rubrique Mettre à niveau la version du moteur d'un déploiement.
Nouvelles fonctionnalités
Prise en charge de JDK 11 (expérimental) : VVR 8.0.10 prend en charge JDK 11. JDK 11 et JDK 8 ne sont pas compatibles entre différentes versions mineures de VVR.
Connecteur SelectDB (aperçu public) : Écrivez des données depuis Flink vers ApsaraDB for SelectDB.
Les fonctionnalités expérimentales et en aperçu public ne bénéficient pas d'accords de niveau de service (SLA) garantis. Utilisez-les avec prudence dans les environnements de production.
Fonctionnalités améliorées
SQL
Jointure temporelle en temps de traitement : Corrèle les lignes d'une table de faits avec la dernière version d'une clé correspondante dans une table de dimension, en se basant sur l'heure d'arrivée des données. Contrairement à une jointure temporelle en temps événementiel, qui corrèle les lignes selon l'heure de survenance de l'événement, cette approche utilise le temps de traitement. Consultez les instructions de jointure temporelle en temps de traitement.
Fonction PERCENTILE : La fonction SQL intégrée
PERCENTILE(expr, percentage[, frequency])est désormais prise en charge. Consultez la liste des fonctions prises en charge.Jointures de tables de dimension en mode Keyed-Ordered : Le mode Key-Ordered est introduit pour les cas d'utilisation où les données sont récupérées de manière asynchrone depuis un système externe et traitées dans l'ordre UpsertKey. Ce mode comble le fossé entre les modes Ordered et Unordered. Consultez les paramètres de clé.
Contrôle d'accès renforcé pour CREATE TABLE AS SELECT (CTAS) et CREATE DATABASE AS SELECT (CDAS) : CTAS et CDAS prennent désormais en charge les catalogues Apache Paimon avec Data Lake Formation (DLF) 2.0 comme type de stockage de métadonnées. Consultez l'instruction CREATE TABLE AS pour CTAS et l'instruction CREATE DATABASE AS pour CDAS.
Connecteurs et ingestion CDC
Ingestion CDC améliorée dans les déploiements YAML : Le connecteur Kafka peut désormais être utilisé comme source dans les déploiements YAML, prenant en charge les formats Debezium JSON et Canal JSON. Les connecteurs Apache Paimon et StarRocks gèrent désormais les instructions
TRUNCATEetDROP TABLEen amont. Les colonnesDECIMALetTIMESTAMPavec des précisions différentes peuvent être fusionnées dans un scénario de base de données fragmentée. Consultez les détails du connecteur Kafka et les instructions de rédaction pour Développer un brouillon YAML pour l'ingestion de données (aperçu public).Connecteur StarRocks amélioré : Les types de données
BIGINT UNSIGNEDetVARBINARYsont désormais pris en charge. La longueur de la colonneCHARest automatiquement étendue à trois fois sa longueur d'origine pour tenir compte des différences d'encodage entre MySQL et StarRocks. Consultez la rubrique StarRocks.Connecteur SLS optimisé : Une politique de backoff est appliquée pour améliorer la stabilité et la fiabilité.
Gestion des catalogues
Catalogues Hive optimisés : Créez des catalogues Hive dans des espaces de travail avec stockage entièrement géré, téléchargez des fichiers de configuration et gérez leur cycle de vie. Consultez la rubrique Gérer les catalogues Hive.
Sécurité des catalogues Apache Paimon : Après la création d'un catalogue Apache Paimon, la valeur du paramètre
fs.oss.accessKeySecretest affichée sous forme de texte chiffré pour protéger la sécurité des identifiants.
Améliorations des performances
Ingestion MySQL CDC complète et incrémentielle plus rapide vers Apache Paimon : Le traitement unifié par lots et en flux améliore considérablement les performances de l'ingestion des données complètes et incrémentielles depuis MySQL Change Data Capture (CDC) vers Apache Paimon.
Restauration de savepoint plus rapide avec stockage entièrement géré : La reprise d'un job à partir d'un savepoint dans un espace de travail configuré avec un stockage entièrement géré nécessite désormais moins de temps et de ressources.
Optimisations de l'expérience utilisateur
Connecteur MySQL CDC : Les configurations système pour certaines options liées à Debezium ont désormais priorité sur les configurations utilisateur afin d'éviter les erreurs de configuration potentielles.
Connecteur Hologres : L'option de délai d'attente est optimisée pour réduire les tentatives de nouvelle connexion inutiles lors du déploiement du brouillon, rendant l'écriture des données dans Hologres plus fiable.
Validation des brouillons SQL : Les conseils et suggestions pour l'opérateur SinkMaterializer lors de la validation des brouillons SQL sont améliorés pour plus de clarté.
Fonctionnalités
| Fonctionnalité | Description | Références | ||
|---|---|---|---|---|
| Prise en charge de JDK 11 (expérimental) | VVR 8.0.10 prend en charge JDK 11, vous offrant davantage de choix d'environnement d'exécution et vous permettant d'utiliser les fonctionnalités de JDK 11 dans vos applications Java. La compatibilité entre JDK 11 et JDK 8 n'est pas garantie entre différentes versions mineures de VVR. | Développer un brouillon JAR | ||
| Jointures de tables de dimension en mode Keyed-Ordered | Le mode Key-Ordered est introduit pour les cas d'utilisation où les données sont récupérées de manière asynchrone depuis un système externe et traitées dans l'ordre UpsertKey, comblant le fossé entre les modes Ordered et Unordered. | Paramètres de clé | ||
| Ingestion CDC améliorée dans les déploiements YAML | Les déploiements YAML prennent désormais en charge le connecteur Kafka en tant que source, permettant aux jobs Flink de traiter les flux de données Kafka aux formats Debezium JSON et Canal JSON. | Connecteur Kafka |
Développer un brouillon YAML pour l'ingestion de données (aperçu public) |
|
| Connecteur SLS optimisé | Une politique de backoff est appliquée pour améliorer la stabilité et la fiabilité du connecteur Simple Log Service (SLS). | N/A | ||
| Connecteur StarRocks amélioré | Les types de données BIGINT UNSIGNED et VARBINARY sont pris en charge. La longueur de la colonne CHAR est automatiquement étendue à trois fois sa longueur d'origine pour gérer les différences d'encodage entre MySQL et StarRocks. |
StarRocks | ||
| Sémantique SQL améliorée | La jointure temporelle en temps de traitement est prise en charge. Elle utilise un attribut de temps de traitement pour corréler les lignes d'une table de faits avec la dernière version d'une clé correspondante dans une table de dimension. | Instructions de jointure temporelle en temps de traitement | ||
| Nouvelle fonction SQL intégrée | La fonction PERCENTILE est désormais prise en charge. |
Fonctions prises en charge | ||
| Catalogues Hive optimisés | Créez des catalogues Hive dans des espaces de travail avec stockage entièrement géré, téléchargez des fichiers de configuration et gérez leur cycle de vie. | Gérer les catalogues Hive | ||
| Contrôle d'accès renforcé pour CTAS/CDAS | CTAS et CDAS prennent en charge les catalogues Apache Paimon avec DLF 2.0 comme type de metastore. | Instruction CREATE TABLE AS | ||
| Refonte de la page d'accueil de la console | La page d'accueil offre désormais une vue d'ensemble des ressources et des déploiements, un accès rapide aux fonctionnalités fréquemment utilisées et une navigation vers la documentation pertinente. | N/A | ||
| Facturation hybride | La facturation hybride combine l'abonnement et le paiement à l'utilisation, vous permettant d'allouer des ressources fixes et élastiques au sein d'un même espace de travail. | Facturation hybride | ||
| Archivage des journaux optimisé | Les journaux archivés expirés sont périodiquement supprimés pour réduire les coûts de stockage. | Afficher les journaux d'un job historique | ||
| Connecteur SelectDB (aperçu public) | Écrivez des données dans ApsaraDB for SelectDB, un service d'entrepôt de données en temps réel entièrement géré hébergé sur Alibaba Cloud et entièrement compatible avec Apache Doris. | Connecteur SelectDB (aperçu public) |
Problèmes corrigés
Problèmes liés aux connecteurs
MySQL CDC : Correction d'un problème de perte de données pouvant survenir lors de la transition de la lecture des données complètes vers la lecture incrémentielle basée sur le binlog via Object Storage Service (OSS).
Tair (compatible Redis OSS) : Correction d'un échec d'écriture causé par un défaut du Buffered Writer dans VVR 8.0.9.
OSS : Correction d'un problème de performance d'écriture affectant VVR 8.0.7 ou ultérieur.
Apache Paimon : Correction d'un problème de conversion de fuseau horaire pour les colonnes de type
TIMESTAMPdans les déploiements YAML.MaxCompute et Table Store (OTS) : Correction d'un problème empêchant la correspondance des lignes de la table de dimension avec les lignes de la table de faits lorsque les tables de dimension possédaient des clés primaires et étaient configurées avec une politique de jointure
SHUFFLE_HASH,REPLICATED_SHUFFLE_HASHouSKEW, conjointement avec la politique Cache ALL.
Problèmes SQL
Fusion de sources : Correction d'un échec de déploiement survenant lorsque
table.optimizer.source-merge.enabledétait défini surtrue.Intervalle Minibatch : Correction d'un problème dans VVR 8.0.7 où la configuration de l'intervalle minibatch ne prenait pas effet.
Problèmes de compatibilité et de dépendances
Chargement de classe de connecteur : Correction d'une exception
connector class not foundsurvenant lors du démarrage d'un déploiement utilisant un connecteur intégré avec une dépendance JAR.Exécution locale IntelliJ IDEA : Correction d'une erreur
ClassNotFoundException: MySqlSourceReaderMetricssurvenant lors de l'exécution locale d'un package JAR MySQL CDC dans IntelliJ IDEA.
Problèmes de configuration dynamique
Correction d'un problème où les mises à jour de configuration dynamique ne prenaient pas effet occasionnellement.