Realtime Compute for Apache Flink:Version du 1er avril 2024

Lakehouse en temps réel

Écriture d'Apache Paimon dans OSS-HDFS

Les données Apache Paimon peuvent désormais être écrites dans OSS-HDFS, ce qui vous offre une option de stockage rentable pour les charges de travail de type lakehouse. Lorsque vous exécutez CREATE TABLE AS ou CREATE DATABASE AS pour écrire dans Apache Paimon, la table résultante est automatiquement créée en mode de compartiment dynamique. Cette version intègre également toutes les fonctionnalités et correctifs de la communauté Apache Paimon issus de la branche master jusqu'au 15 mars 2024. Pour plus d'informations, visitez Apache Paimon.

Données Hive sauvegardées par OSS-HDFS via les catalogues Hive

Après avoir configuré un catalogue Hive, vous pouvez écrire des données Hive directement dans OSS-HDFS. Cela vous permet de construire un entrepôt de données Hive sur OSS-HDFS sans modifier votre flux de travail basé sur les catalogues.

Tables non-Hive dans les catalogues Hive basés sur DLF

Lorsque Data Lake Formation (DLF) sert de center de gestion des métadonnées pour votre catalogue Hive, vous pouvez désormais créer des tables non-Hive via le catalogue Hive. Cette évolution simplifie la gestion de différents types de tables à partir d'un seul catalogue.

Connecteurs

Connecteur OceanBase CDC — Lecture depuis les tables source OceanBase (aperçu public)

Vous pouvez désormais lire des données depuis une table source OceanBase à l'aide du connecteur Change Data Capture (CDC), ingérant ainsi les données OceanBase directement dans les pipelines Flink et construisant des entrepôts de données en temps réel multicouches sur OceanBase. Pour plus de détails, consultez Connecteur OceanBase (aperçu public).

**Connecteur MongoDB CDC — CREATE TABLE AS et CREATE DATABASE AS (aperçu public)**

Exécutez CREATE TABLE AS ou CREATE DATABASE AS pour synchroniser en temps réel les modifications de données et de schéma d'une base de données MongoDB vers des tables en aval. Pour plus de détails, consultez Gérer les catalogues MongoDB (aperçu public), Instruction CREATE TABLE AS, Instruction CREATE DATABASE AS et Connecteur MongoDB (aperçu public).

Connecteur PostgreSQL CDC — Lecture simultanée des données complètes (aperçu public)

Les données complètes sont désormais lues simultanément depuis les tables source PostgreSQL CDC, ce qui réduit considérablement le temps nécessaire pour achever la synchronisation initiale des données complètes. Pour plus de détails, consultez Connecteur PostgreSQL CDC (aperçu public).

Connecteur Hologres — Prise en charge du type de données TIMESTAMP_LTZ

Le connecteur Hologres prend désormais en charge le type de données TIMESTAMP_LTZ, ce qui facilite le traitement et l'analyse des données sensibles au fuseau horaire et améliore la précision des données. Par ailleurs, cette version corrige le problème de décalage temporel lors de la synchronisation des données depuis une table source MySQL CDC vers Hologres. Pour plus de détails, consultez Connecteur Hologres.

Connecteur MaxCompute — Prise en charge d'Upsert Tunnel et des schémas

Cette version inclut deux améliorations :

• Écrivez des données dans les tables Transaction Table 2.0 à l'aide de MaxCompute Upsert Tunnel.

• Spécifiez un schéma afin que le connecteur puisse lire et écrire dans les tables d'un projet MaxCompute avec la fonctionnalité de schéma activée.

Pour plus de détails, consultez Connecteur MaxCompute.

Elasticsearch — Clés de routage basées sur les colonnes

Spécifiez n'importe quelle colonne comme clé de routage pour l'indexation Elasticsearch en temps réel. Vous bénéficiez ainsi d'un contrôle plus fin sur la distribution des documents entre les shards. Pour plus de détails, consultez Elasticsearch.

Connecteur Apache Kafka — Gestion des valeurs nulles et filtrage basé sur les en-têtes

Deux améliorations permettent de réduire les données indésirables et d'optimiser la distribution :

• Les valeurs de colonne vides ne sont plus écrites sous forme de valeurs nulles dans les chaînes JSON, ce qui réduit la consommation de stockage inutile.

• Les données Kafka peuvent être filtrées en fonction des en-têtes lors de l'écriture, ce qui facilite le routage des données vers les destinations appropriées.

Pour plus de détails, consultez Connecteur Apache Kafka et JSON.

Connecteur OSS — Authentification renforcée des buckets

Après avoir spécifié un chemin de système de fichiers, vous devez configurer l'authentification du bucket Object Storage Service (OSS) pour lire ou écrire dans ce chemin. Cela garantit que vos jobs disposent des informations d'identification appropriées avant d'accéder aux données OSS. Pour plus de détails, consultez Connecteur OSS.

Connecteur StarRocks — Prise en charge du type JSON

Écrivez des données de type JSON dans StarRocks à l'aide du connecteur StarRocks pour répondre aux exigences métier impliquant des données semi-structurées.

Connecteur Simple Log Service — Valeurs nulles sous forme de chaînes vides

Les valeurs nulles sont désormais écrites sous forme de chaînes vides dans les journaux au lieu d'être supprimées, ce qui facilite la gestion des champs contenant des valeurs nulles. Pour plus de détails, consultez Connecteur Simple Log Service.

Améliorations SQL

Fonction CUMULATE — Prise en charge des flux de mises à jour pour WindowAggregate

L'opérateur WindowAggregate de la fonction CUMULATE prend désormais en charge les flux de mises à jour. Avec cette version, les quatre fonctions de fenêtrage — TUMBLE, HOP, CUMULATE et SESSION — prennent en charge l'agrégation de fenêtre pour les flux de mises à jour, tels que les flux de données CDC. Dans Apache Flink 1.18 et versions antérieures, les fonctions de fenêtrage ne prenaient pas en charge cette fonctionnalité. Pour plus de détails, consultez Requêtes.