Realtime Compute for Apache Flink:23 de outubro de 2023

Recurso

Novidades

Ajuste automático otimizado

A estratégia estável agora está disponível no Autopilot. O sistema ajusta a configuração de recursos apenas quando identifica uma opção melhor para todo o tempo de execução da implantação. Isso evita modificações desnecessárias causadas por picos repentinos de tráfego e ajuda as implantações a atingirem um estado de convergência estável. Consulte Configure automatic tuning.

Planos de ajuste agendados

Configure vários planos de ajuste agendados para uma única implantação. Alterne o plano ativo sem cancelar a implantação. Cada plano oferece suporte a várias estratégias de ajuste agendado. Consulte Configure automatic tuning.

Linhagem de dados para implantações Flink SQL

Visualize a linhagem de dados no nível de campo para implantações Flink SQL. Encontre todas as implantações que utilizam um campo específico em uma tabela e rastreie relacionamentos no nível de campo entre tabelas de source e de resultado. Consulte View data lineage.

Atualização dinâmica de parâmetros

Atualize o parâmetro Parallelism e parâmetros de runtime específicos de uma implantação sem precisar cancelá-la. Consulte Dynamically update the parameter configuration for dynamic scaling.

Sugestões de otimização de SQL

Visualize sugestões de otimização e riscos potenciais diretamente nos resultados da verificação de sintaxe para implantações SQL. Consulte Develop an SQL draft.

Busca baseada em rótulos

Atribua rótulos a implantações SQL, JAR ou Python e pesquise por chave ou valor de rótulo na página Deployments. Consulte Create a deployment.

Classificação e filtragem avançadas de implantações

Ordene implantações por pontuação de integridade ou latência e filtre pelo usuário responsável pela última modificação. Disponível na página Deployments.

Opções de logon expandidas

Faça logon nos consoles de gerenciamento e desenvolvimento usando uma função RAM, membro de diretório de recursos ou usuário CloudSSO, além de contas Alibaba Cloud e usuários do Resource Access Management (RAM). Consulte Permission management, Authorize an account to perform operations in a namespace e Authorize access to Management Console.

Recurso

Novidades

MaxCompute: tipos de dados complexos e Tunnel exclusivo

Leia e escreva tipos de dados JSON, ARRAY, MAP e STRUCT no MaxCompute. Atribua um MaxCompute Tunnel exclusivo ao conector para garantir conectividade dedicada. Consulte MaxCompute connector.

ApsaraDB for Redis: política de cache ALL

Defina o parâmetro cache como ALL ao criar uma tabela de dimensão com o conector ApsaraDB for Redis para melhorar o desempenho de consulta. Consulte ApsaraDB for Redis connector.

ApsaraDB RDS for MySQL: suporte a TDE

Os catálogos MySQL agora oferecem suporte a instâncias do ApsaraDB RDS for MySQL com criptografia transparente de dados (TDE) ativada.

Catálogos do Data Lake Formation (DLF): endpoints OSS-HDFS

Defina o parâmetro oss.endpoint como um endpoint OSS-HDFS em um catálogo DLF. Consulte Hudi e Manage DLF catalogs.

StarRocks: normalização de tipos em CREATE TABLE AS

Ative o modo de normalização de tipos para alterações de schema ao usar o conector StarRocks com CREATE TABLE AS. Se um campo de source mudar para um tipo compatível com comprimento diferente, a sincronização continuará sem interrupções.

Hologres: chaves de partição DATE

Utilize uma coluna DATE como chave de partição em tabelas de resultado do Hologres. A tabela particionada é criada automaticamente. Consulte Hologres connector.

ApsaraMQ for RocketMQ 5.x

Leia e escreva dados em tabelas do ApsaraMQ for RocketMQ 5.x. Consulte ApsaraMQ for RocketMQ connector.

Desempenho aprimorado de mini-batch e join

Esta versão otimiza o recurso de mini-batch e o desempenho de joins. Em cenários de Change Data Capture (CDC), ou após operações de deduplicação e agregação, o throughput pode aumentar em até 130%.