Cette rubrique décrit les principales mises à jour et corrections de bugs apportées à la version de Realtime Compute for Apache Flink publiée le 22 juillet 2024.
Ce déploiement s'effectue de manière incrémentielle selon une stratégie de déploiement progressif (canary release). Les nouvelles fonctionnalités de cette version ne seront disponibles qu'une fois la mise à niveau terminée pour votre compte. Consultez le calendrier de déploiement le plus récent sur le côté droit de la console Realtime Compute for Apache Flink. Pour demander une mise à niveau anticipée, soumettez un ticket.
Vue d'ensemble
Cette version apporte 13 nouvelles fonctionnalités et 7 corrections de bugs au niveau de la plateforme et du moteur.
Points forts de la plateforme : rôles personnalisés avec des autorisations granulaires, améliorations de l'interface utilisateur pour les détails des jobs et la configuration des ressources, ainsi que création de catalogues MaxCompute directement depuis la console.
Points forts du moteur : Ververica Runtime (VVR) 8.0.8, basé sur Apache Flink 1.17.2, avec des améliorations des connecteurs pour Elasticsearch, Hologres, StarRocks, Simple Log Service (SLS), MySQL et MaxCompute ; de nouvelles fonctions SQL intégrées ; ainsi que des améliorations des performances et de la sécurité.
Une fois la mise à niveau terminée pour votre compte, mettez à niveau le moteur VVR vers la version 8.0.8. Pour obtenir des instructions, consultez Mettre à niveau la version du moteur d'un déploiement.
Nouvelles fonctionnalités
|
Fonctionnalité |
Description |
Références |
|
Rôles personnalisés |
Créez des rôles personnalisés et attribuez des autorisations granulaires en fonction de vos besoins métier. Cela vous offre un contrôle précis sur les opérations liées aux jobs que chaque utilisateur peut effectuer, réduisant ainsi les risques liés aux comptes disposant de trop nombreuses autorisations. |
Autoriser un compte à effectuer des opérations dans un namespace |
|
Optimisation de l'interface utilisateur : détails du job |
Consultez la configuration des paramètres utilisée pour démarrer un job directement depuis la page des détails du déploiement : cliquez sur l'onglet Status, puis sur Job Details dans la section Actions. Cela élimine la nécessité de rechercher dans l'historique de configuration lors du débogage d'un job en cours d'exécution. |
S.O. |
|
Optimisation de l'interface utilisateur : configuration des ressources |
Les valeurs maximales autorisées pour les paramètres de ressources sont désormais affichées dans la section Resources de l'onglet Configuration. Cela permet d'éviter les erreurs de configuration dues au dépassement des limites des paramètres. |
S.O. |
|
Création de catalogue MaxCompute via la console |
Les catalogues MaxCompute peuvent être créés via l'interface graphique, ce qui facilite la configuration et la gestion des jobs Flink et améliore l'efficacité de la gestion et du développement des données. |
S.O. |
|
Connecteur StarRocks : prise en charge du format JSON |
Le connecteur StarRocks prend désormais en charge le type de données JSON. Cela résout l'exception qui se produisait lors de l'écriture de données JSON depuis MySQL vers StarRocks. |
|
|
Améliorations du connecteur Elasticsearch |
|
|
|
Connecteur Simple Log Service (SLS) : modes de démarrage |
Consommez les données SLS à partir du décalage (offset) le plus récent ou le plus ancien. Cela vous permet de décider si un nouveau job traite uniquement les nouvelles données ou retraites les données historiques. |
|
|
Mise à niveau de l'image Docker PyFlink |
L'image Docker de base pour PyFlink est mise à niveau pour améliorer la compatibilité avec différentes versions de Python et de glibc. Cela réduit les frictions lors de l'exécution des jobs PyFlink dans des environnements conteneurisés. |
S.O. |
|
Fonctions URL_DECODE et URL_ENCODE |
Deux fonctions SQL intégrées pour l'encodage et le décodage d'URL sont ajoutées. Elles éliminent le besoin de fonctions définies par l'utilisateur (UDF) personnalisées lors du traitement de chaînes encodées en URL dans vos jobs SQL. |
|
|
Connecteur MySQL : prise en charge des endpoints ApsaraDB RDS for MySQL |
Configurez les endpoints ApsaraDB RDS for MySQL dans le connecteur MySQL. La capture des données modifiées (CDC) MySQL peut désormais lire les journaux binaires stockés dans le compartiment Object Storage Service (OSS) associé. |
|
|
Connecteur Hologres : politiques de suppression par colonne |
Configurez des politiques de suppression indépendamment pour chaque colonne d'une table de destination Hologres. Par exemple, supprimez des lignes entières ou définissez les valeurs des colonnes non clés primaires sur null sans affecter les autres colonnes dans les scénarios de mise à jour partielle. |
|
|
Partitionneur personnalisé pour les jointures de tables de dimension |
Configurez la stratégie de brassage (shuffle) pour les opérations de jointure de tables de dimension. Cela vous permet d'optimiser la distribution des données entre les tâches parallèles et d'améliorer le débit global des jointures. |
|
|
Connecteur MaxCompute : format Arrow et allocation dynamique des shards |
Lisez les données source MaxCompute au format Arrow avec une allocation dynamique des shards. Cela améliore considérablement le débit de lecture et réduit la charge d'écriture des données sur les clusters Flink. |
Améliorations des performances
Jointures de tables de dimension Apache Paimon : les performances des jointures pour les tables de dimension Apache Paimon sont améliorées.
Écritures MySQL CDC vers Hologres : la vitesse d'écriture des données complètes et incrémentielles vers Hologres à l'aide de MySQL CDC est améliorée.
Lectures de tables source MaxCompute : la vitesse de lecture depuis les tables source MaxCompute est améliorée et la charge d'écriture des données sur les clusters Flink est réduite.
Améliorations de la sécurité
Les mots de passe dans la topologie du job sont désormais chiffrés, empêchant l'exposition d'identifiants sensibles dans les graphiques de job.
Problèmes corrigés
Des conflits de données surviennent lorsque plusieurs flux écrivent dans la même table Apache Paimon lors de mises à jour partielles.
Lorsque MySQL CDC rencontre des erreurs de mémoire insuffisante (OOM) lors de l'analyse d'un grand nombre de journaux binaires, le système effectue des tentatives silencieuses sans afficher l'erreur. À partir de cette version, le système lève une exception et déclenche un basculement du job.
Lorsque GeminiStateBackend rencontre des erreurs de mémoire insuffisante (OOM), le système effectue des tentatives silencieuses sans afficher l'erreur. À partir de cette version, le système lève une exception et déclenche un basculement du job.
L'état de consommation du connecteur ApsaraMQ for RocketMQ n'est pas affiché dans la console ApsaraMQ for RocketMQ.
Si le schéma d'une table source Hologres change (par exemple, en raison d'une opération TRUNCATE) dans un job démarré à partir de données d'état, la restauration du snapshot échoue.
L'erreur
java.lang.NoClassDefFoundError: StringUtilspeut survenir lors de l'utilisation du connecteur StarRocks.Tous les problèmes corrigés dans Apache Flink 1.17.2. Pour la liste complète, consultez l'annonce de la version Apache Flink 1.17.2.