Realtime Compute for Apache Flink:21 de novembro de 2024

Novos recursos

• Suporte ao JDK 11 (experimental): O VVR 8.0.10 suporta o JDK 11. O JDK 11 e o JDK 8 não são compatíveis entre diferentes versões menores do VVR.

• Conector SelectDB (visualização pública): Grave dados do Flink no ApsaraDB for SelectDB.

Recursos aprimorados

SQL

• Temporal join por tempo de processamento: Correlaciona linhas de uma tabela de fatos à versão mais recente de uma chave correspondente em uma tabela de dimensões, com base no horário de chegada dos dados. Diferentemente do temporal join por tempo de evento, que usa o momento da ocorrência, esta abordagem utiliza o tempo de processamento. Consulte Instruções de temporal join por tempo de processamento.

• Função PERCENTILE: A função SQL integrada PERCENTILE(expr, percentage[, frequency]) agora tem suporte. Consulte Funções suportadas.

• Joins de tabela de dimensões no modo Keyed-Ordered: O modo Key-Ordered atende a casos de uso em que os dados são recuperados assincronamente de um sistema externo e processados na ordem UpsertKey. Esse modo preenche a lacuna entre os modos Ordered e Unordered. Consulte Parâmetros de chave.

• Controle de acesso aprimorado para CREATE TABLE AS SELECT (CTAS) e CREATE DATABASE AS SELECT (CDAS): CTAS e CDAS agora suportam catálogos Apache Paimon com Data Lake Formation (DLF) 2.0 como tipo de armazenamento de metadados. Consulte Instrução CREATE TABLE AS para CTAS e Instrução CREATE DATABASE AS para CDAS.

Conectores e ingestão CDC

• Ingestão CDC aprimorada em implantações YAML: O conector Kafka agora funciona como source em implantações YAML, com suporte aos formatos Debezium JSON e Canal JSON. Os conectores Apache Paimon e StarRocks agora lidam com instruções upstream TRUNCATE e DROP TABLE. Colunas DECIMAL e TIMESTAMP com diferentes precisões podem ser mescladas em cenários de banco de dados fragmentado. Consulte Conector Kafka para detalhes sobre o conector e Desenvolver um rascunho YAML para ingestão de dados (visualização pública) para instruções de criação.

• Conector StarRocks aprimorado: Há suporte aos tipos de dados BIGINT UNSIGNED e VARBINARY. O comprimento da coluna CHAR é estendido automaticamente para três vezes o tamanho original, acomodando diferenças de codificação entre MySQL e StarRocks. Consulte StarRocks.

• Conector SLS otimizado: Aplicamos uma política de backoff para melhorar a estabilidade e a confiabilidade.

Gerenciamento de catálogos

• Catálogos Hive otimizados: Crie catálogos Hive em workspaces com armazenamento totalmente gerenciado, faça upload de arquivos de configuração e gerencie seus ciclos de vida. Consulte Gerenciar catálogos Hive.

• Segurança de catálogo Apache Paimon: Após a criação de um catálogo Apache Paimon, o valor do parâmetro fs.oss.accessKeySecret aparece como texto cifrado para proteger as credenciais.

Melhorias de desempenho

• Ingestão CDC do MySQL completa e incremental mais rápida para o Apache Paimon: O processamento unificado em lote e streaming melhora significativamente o desempenho da ingestão de dados completos e incrementais do MySQL Change Data Capture (CDC) para o Apache Paimon.

• Restauração de savepoint mais rápida com armazenamento totalmente gerenciado: Retomar um job a partir de um savepoint em um workspace com armazenamento totalmente gerenciado agora exige menos tempo e recursos.

Otimizações de experiência

• Conector MySQL CDC: As configurações do sistema para determinadas opções relacionadas ao Debezium agora têm precedência sobre as configurações do usuário, evitando possíveis erros de configuração.

• Conector Hologres: A opção de timeout foi otimizada para reduzir retentativas desnecessárias durante a implantação de rascunhos, tornando as gravações de dados no Hologres mais confiáveis.

• Validação de rascunho SQL: Dicas e sugestões para o operador SinkMaterializer durante a validação de rascunhos SQL foram aprimoradas para maior clareza.