Realtime Compute for Apache Flink:Version du 15 janvier 2025

Mises à jour de la plateforme

Prise en charge du dialecte Hive pour le SQL par lots

Vous pouvez désormais développer des scripts SQL par lots en utilisant le dialecte Hive, ce qui permet de migrer les charges de travail Hive vers Flink sans réécrire le code SQL. Consultez la rubrique Prise en main des déploiements SQL Hive.

Rétroalimentation des données dans les workflows

Vous pouvez désormais combler les lacunes et corriger les erreurs dans les données historiques directement depuis les workflows. Consultez la rubrique Gérer les workflows.

Recherche de déploiement par adresse IP et port

Vous pouvez désormais localiser un déploiement spécifique en recherchant l'adresse IP et le port du système source ou de destination. Cette fonctionnalité s'avère particulièrement utile lorsque Flink gère des requêtes provenant de nombreux systèmes externes. Consultez la rubrique Mise à niveau de l'architecture réseau.

Création simplifiée d'un espace de travail

La sélection de la zone n'est plus requise lors de l'achat d'un espace de travail. Choisissez plutôt un modèle de déploiement :

• Zone unique : la zone optimale est sélectionnée automatiquement. Flink communique avec les services de la même région via un Virtual Private Cloud (VPC) avec une latence inférieure à 3 millisecondes. La planification transparente des ressources au sein de la région améliore l'élasticité des ressources. Pour les benchmarks de latence intra-région, consultez la rubrique Cloud Network Performance.

• Inter-zones : en cas de défaillance de la zone principale, les déploiements basculent automatiquement vers la zone secondaire, évitant ainsi les interruptions de service et maintenant une haute disponibilité.

Consultez les rubriques Activer Realtime Compute for Apache Flink et Haute disponibilité inter-zones.

Variables de namespace dans les paramètres d'exécution

Vous pouvez désormais configurer des variables de namespace dans les paramètres d'exécution d'un déploiement afin d'éviter d'utiliser des paires AccessKey et des identifiants en texte clair. Consultez la rubrique Gérer les variables.

Plans de réglage enregistrés en mode autopilote

Une fois qu'un déploiement est stabilisé à l'aide de la stratégie stable en mode autopilote, vous pouvez afficher, modifier et enregistrer le plan de réglage généré pour une utilisation future. Le mode autopilote propose désormais deux options de plan de réglage : basé sur un planning et à ressources fixes. Consultez la rubrique Configurer le réglage automatique.

Mise à jour du moteur

VVR 8.0.11 est désormais disponible en disponibilité générale. Il s'agit d'un moteur de qualité entreprise basé sur Apache Flink 1.17.2, avec des optimisations et des améliorations allant au-delà de la version amont d'Apache Flink.

Mises à jour des connecteurs

Connecteur Hologres

• Mises à jour conditionnelles (check-and-put) : appliquez les mises à jour à Hologres uniquement lorsque les conditions spécifiées sont remplies.

• Mode d'écriture agressif (aggressive.enabled) : améliorez la rapidité d'écriture pendant les périodes de faible trafic.

• Consommation de journaux binaires à partir de tables partitionnées (aperçu public) : consommez les journaux binaires des tables partitionnées Hologres, ce qui est utile pour la construction d'un entrepôt de données en temps réel. Consultez la rubrique Consommer des données Hologres en temps réel.

• Colonnes de métadonnées : accédez aux colonnes de métadonnées (telles que hg_binlog_event_type) d'une table source Hologres à l'aide du catalogue Hologres. Consultez les rubriques Gérer les catalogues Hologres et Connecteur Hologres.

Connecteur MaxCompute

Utilisez upsert.partial-column pour mettre à jour des colonnes spécifiques dans les tables Delta. Cela simplifie la création de tables larges à partir de plusieurs flux de données écrits dans MaxCompute. Consultez la rubrique Connecteur MaxCompute.

Connecteur StarRocks

Lors du mappage d'un champ CHAR Flink vers un champ CHAR StarRocks, la longueur du champ StarRocks est automatiquement étendue à quatre fois la longueur d'origine. Cela permet de gérer les caractères multi-octets tels que les emojis. Consultez la rubrique Connecteur StarRocks.

Tables matérialisées

Lorsque le mode d'exécution par lots est activé, les tables matérialisées choisissent dynamiquement entre les mises à jour incrémentielles et les mises à jour complètes. Les mises à jour incrémentielles sont privilégiées. Consultez la rubrique Créer et utiliser des tables matérialisées.

Problèmes liés aux connecteurs

• Connecteur MySQL : correction d'une exception de pointeur nul au démarrage.

• Connecteur MySQL : correction d'une dégradation des performances lors de l'écriture dans une table sans clé primaire. Ce problème a été introduit après une mise à niveau de version VVR.

• Connecteur Kafka : correction d'un désalignement entre les messages JSON au format Canal et les colonnes de métadonnées lors de la réutilisation d'une source Kafka.

• Connecteur ApsaraDB for HBase : correction d'une exception au démarrage : No length info found when processingnull.

• Catalogue Simple Log Service : correction d'une erreur lors de l'utilisation du catalogue Simple Log Service : AssertionError: Conversion to relational algebra failed.

Problèmes liés au SQL

• Correction d'un problème où une fenêtre n'était pas déclenchée en raison d'une émission tardive du watermark.

• Correction d'une erreur lors de l'ajout d'une colonne BIT(1) à une table créée avec une instruction CTAS : ValidationException: Binary string length must be between 1 and 2147483647.

Problèmes de stabilité

• Correction d'un problème où un déploiement récupérait à partir du mauvais point de contrôle après avoir été anormalement terminé avec le code de sortie 137.