Realtime Compute for Apache Flink:23 de outubro de 2023

Recurso

Novidades

Ajuste automático otimizado

A estratégia estável agora está disponível no Autopilot. O sistema ajusta a configuração de recursos apenas quando identifica uma opção melhor para todo o tempo de execução da implantação. Isso evita modificações desnecessárias causadas por picos repentinos de tráfego e ajuda as implantações a atingirem um estado de convergência estável. Consulte Configure ajuste automático.

Planos de ajuste agendados

Configure vários planos de ajuste agendados para uma única implantação e alterne o plano ativo sem cancelá-la. Cada plano oferece suporte a várias estratégias de ajuste agendado. Consulte Configure ajuste automático.

Linhagem de dados para implantações Flink SQL

Visualize a linhagem de dados no nível de campo para implantações Flink SQL. Encontre todas as implantações que utilizam um campo específico em uma tabela e rastreie relacionamentos no nível de campo entre tabelas de source e de resultado. Consulte Visualize linhagem de dados.

Atualizações dinâmicas de parâmetros

Atualize o parâmetro Parallelism e parâmetros específicos de tempo de execução de uma implantação sem precisar cancelá-la. Consulte Atualize dinamicamente a configuração de parâmetros para dimensionamento dinâmico.

Sugestões de otimização de SQL

Veja sugestões de otimização e riscos potenciais diretamente nos resultados da verificação de sintaxe para implantações SQL. Consulte Desenvolver um rascunho SQL.

Pesquisa baseada em rótulos

Atribua rótulos a implantações SQL, JAR ou Python e pesquise por chave ou valor de rótulo na página Deployments. Consulte Crie uma implantação.

Classificação e filtragem aprimoradas de implantações

Classifique implantações por pontuação de integridade ou latência e filtre pelo usuário que fez a última modificação. Disponível na página Deployments.

Opções de logon expandidas

Faça logon nos consoles de gerenciamento e desenvolvimento usando uma função RAM, membro de diretório de recursos ou usuário CloudSSO, além de contas Alibaba Cloud e usuários do Resource Access Management (RAM). Consulte Gerenciamento de permissões, Autorizar uma conta a realizar operações em um namespace e Autorizar acesso ao Console de Gerenciamento.

Recurso

Novidades

MaxCompute: tipos de dados complexos e Tunnel exclusivo

Leia e grave tipos de dados JSON, ARRAY, MAP e STRUCT no MaxCompute. Atribua um MaxCompute Tunnel exclusivo ao conector para garantir conectividade dedicada. Consulte Conector MaxCompute.

ApsaraDB for Redis: política de cache ALL

Defina o parâmetro cache como ALL ao criar uma tabela de dimensões com o conector ApsaraDB for Redis para melhorar o desempenho de consulta. Consulte Conector ApsaraDB for Redis.

ApsaraDB RDS for MySQL: suporte a TDE

Os catálogos MySQL agora oferecem suporte a instâncias do ApsaraDB RDS for MySQL com criptografia transparente de dados (TDE) ativada.

Catálogos do Data Lake Formation (DLF): endpoints OSS-HDFS

Defina o parâmetro oss.endpoint como um endpoint OSS-HDFS em um catálogo DLF. Consulte Hudi e Gerencie catálogos DLF.

StarRocks: normalização de tipos em CREATE TABLE AS

Ative o modo de normalização de tipos para alterações de esquema ao usar o conector StarRocks com CREATE TABLE AS. Se um campo de source mudar para um tipo compatível com comprimento diferente, a sincronização continuará sem interrupções.

Hologres: chaves de partição DATE

Utilize uma coluna DATE como chave de partição em tabelas de resultado do Hologres. A tabela particionada é criada automaticamente. Consulte Conector Hologres.

ApsaraMQ for RocketMQ 5.x

Leia e grave em tabelas do ApsaraMQ for RocketMQ 5.x. Consulte Conector ApsaraMQ for RocketMQ.

Desempenho aprimorado de mini-batch e join

Esta versão otimiza o recurso mini-batch e o desempenho de joins. Em cenários de Change Data Capture (CDC) ou após operações de deduplicação e agregação, o throughput pode aumentar em até 130%.