Realtime Compute for Apache Flink:Release on April 1, 2024

Lakehouse em tempo real

Gravação do Apache Paimon no OSS-HDFS

Agora é possível gravar dados do Apache Paimon no OSS-HDFS, uma opção de armazenamento econômica para cargas de trabalho de lakehouse. Ao executar CREATE TABLE AS ou CREATE DATABASE AS para gravar no Apache Paimon, o sistema cria a tabela resultante automaticamente no modo de bucket dinâmico. Esta versão também incorpora todos os recursos e correções da comunidade Apache Paimon do branch master até 15 de março de 2024. Para mais informações, visite Apache Paimon.

Dados do Hive armazenados no OSS-HDFS via catálogos Hive

Após configurar um catálogo Hive, grave dados do Hive diretamente no OSS-HDFS. Isso permite construir um data warehouse do Hive no OSS-HDFS sem alterar o fluxo de trabalho baseado em catálogos.

Tabelas não Hive em catálogos Hive baseados em DLF

Quando o Data Lake Formation (DLF) atua como centro de gerenciamento de metadados do catálogo Hive, é possível criar tabelas não Hive por meio desse catálogo. Esse recurso facilita o gerenciamento de diferentes tipos de tabela a partir de um único catálogo.

Conectores

Conector OceanBase CDC — Leitura de tabelas de origem OceanBase (visualização pública)

Leia dados de uma tabela de origem OceanBase usando o conector Change Data Capture (CDC). Com isso, ingira dados do OceanBase diretamente em pipelines do Flink e construa data warehouses em tempo real com camadas no OceanBase. Para detalhes, consulte Conector OceanBase (visualização pública).

**Conector MongoDB CDC — CREATE TABLE AS e CREATE DATABASE AS (visualização pública)**

Execute CREATE TABLE AS ou CREATE DATABASE AS para sincronizar dados e alterações de schema de um banco de dados MongoDB para tabelas downstream em tempo real. Para detalhes, consulte Gerenciar catálogos do MongoDB (visualização pública), Instrução CREATE TABLE AS, Instrução CREATE DATABASE AS e Conector MongoDB (visualização pública).

Conector PostgreSQL CDC — Leitura simultânea de dados completos (visualização pública)

A leitura completa de dados das tabelas de origem do PostgreSQL CDC agora ocorre de forma simultânea. Isso reduz significativamente o tempo necessário para concluir a sincronização inicial de dados completos. Para detalhes, consulte Conector PostgreSQL CDC (visualização pública).

Conector Hologres — Suporte ao tipo de dado TIMESTAMP_LTZ

O conector Hologres agora suporta o tipo de dado TIMESTAMP_LTZ. Isso facilita o processamento e a análise de dados com reconhecimento de fuso horário, além de melhorar a precisão dos dados. Esta versão também corrige o problema de diferença de horário que ocorria ao sincronizar dados de uma tabela de origem MySQL CDC para o Hologres. Para detalhes, consulte Conector Hologres.

Conector MaxCompute — Upsert Tunnel e suporte a schema

Esta versão inclui duas melhorias:

• Grave dados em tabelas Transaction Table 2.0 usando o MaxCompute Upsert Tunnel.

• Especifique um schema para que o conector possa ler e gravar em tabelas de um projeto MaxCompute com o recurso de schema ativado.

Para detalhes, consulte Conector MaxCompute.

Elasticsearch — Chaves de roteamento baseadas em colunas

Especifique qualquer coluna como chave de roteamento para indexação em tempo real no Elasticsearch. Esse recurso proporciona controle mais granular sobre a distribuição de documentos entre shards. Para detalhes, consulte Elasticsearch.

Conector Apache Kafka — Tratamento de valores nulos e filtragem baseada em headers

Duas melhorias reduzem dados indesejados e aprimoram a distribuição:

• Valores vazios em colunas deixam de ser gravados como valores nulos em strings JSON, o que reduz o consumo desnecessário de armazenamento.

• Filtre dados do Kafka com base em headers durante a gravação para facilitar o roteamento de dados para os destinos corretos.

Para detalhes, consulte Conector Apache Kafka e JSON.

Conector OSS — Autenticação aprimorada de buckets

Após especificar um caminho de sistema de arquivos, configure a autenticação de bucket do Object Storage Service (OSS) para ler ou gravar nesse caminho. Essa medida garante que seus jobs tenham as credenciais adequadas antes de acessar dados no OSS. Para detalhes, consulte Conector OSS.

Conector StarRocks — Suporte ao tipo JSON

Grave dados do tipo JSON no StarRocks usando o conector StarRocks para atender a requisitos de negócio que envolvem dados semiestruturados.

Conector Simple Log Service — Valores nulos como strings vazias

Valores nulos agora são gravados como strings vazias nos logs em vez de serem descartados. Isso facilita o tratamento de campos que contêm valores nulos. Para detalhes, consulte Conector Simple Log Service.

Melhorias em SQL

Função CUMULATE — Suporte a streams de atualização para WindowAggregate

O operador WindowAggregate da função CUMULATE agora suporta streams de atualização. Com este lançamento, todas as quatro funções de janela — TUMBLE, HOP, CUMULATE e SESSION — suportam agregação de janela para streams de atualização, como streams de dados CDC. No Apache Flink 1.18 e versões anteriores, as funções de janela não ofereciam esse suporte. Para detalhes, consulte Consultas.