Realtime Compute for Apache Flink:13 de abril de 2023

Recurso

Descrição

Referências

Data lake streaming Apache Paimon

O data lake streaming Apache Paimon está disponível em preview por convite. O Realtime Compute for Apache Flink suporta leitura e gravação de dados no Apache Paimon com base no Alibaba Cloud Object Storage Service (OSS).

Conector Apache Paimon

Catálogos Apache Paimon

Os catálogos integrados do Apache Paimon podem ser usados junto com o Flink SQL para desenvolver uma solução de data lake em tempo real baseada em Flink.

Gerenciar catálogos Paimon

Gravação de dados no OSS-HDFS em modo streaming

É possível gravar dados no OSS-HDFS em modo streaming. Isso permite o uso de múltiplos tipos de armazenamentos de dados.

Object Storage Service

Ajuste de métricas

• Métricas de CPU

  • A métrica JM CPU Usage foi adicionada.

  • As métricas TM CPU Load e JM CPU Load foram removidas.

    Nota

    As métricas TM CPU Load e JM CPU Load não refletem a utilização da CPU. Apenas as métricas JM CPU Usage e TM CPU Usage devem ser usadas para monitorar a utilização da CPU.

• Métricas de conector

  • As métricas numRecordsOut e numRecordsOutPersecond foram adicionadas ao conector Elasticsearch para melhorar a observabilidade operacional.

  • A métrica Enumerator foi adicionada ao conector MySQL Change Data Capture (CDC).

• Elasticsearch

• Visualizar métricas

• Descartar ou restaurar métricas

Tabelas de resultados Tair

Tabelas de resultados Tair agora são suportadas. Esse recurso possibilita o uso de diversos tipos de armazenamentos de dados.

-

Aprimoramento de instruções EXPLAIN em SQL streaming

A instrução EXPLAIN PLAN_ADVICE é suportada para fornecer sugestões de otimização mais detalhadas.

Nenhuma

Otimização do processamento de eventos complexos (CEP) dinâmico do Flink

Condições baseadas em expressões Groovy agora são suportadas. A implementação de autômato finito não determinístico (NFA) e SharedBuffer foi otimizada para reduzir o número de criações de timer e melhorar o desempenho.

Regras CEP dinâmicas: formato JSON e uso

Machine learning (ML) do Flink

O Flink ML suportado pela engine está em preview por convite e oferece o recurso de machine learning em tempo real.

-

Otimização do processo de desenvolvimento de rascunhos

A página Draft Editor foi renomeada para SQL Editor para oferecer uma plataforma de desenvolvimento SQL, o que otimiza o processo de desenvolvimento de rascunhos nos seguintes aspectos:

• Fornece um mecanismo de isolamento entre rascunhos e implantações para evitar que implantações em produção sejam afetadas pelo desenvolvimento SQL. O desenvolvimento de rascunhos JAR e Python é naturalmente isolado das implantações JAR e Python em produção. Como o desenvolvimento de rascunhos JAR e Python não requer componentes SQL, como funções definidas pelo usuário (UDFs), conectores e catálogos, o mecanismo de isolamento não é necessário para esses tipos de rascunho.

• Otimiza o processo de criação de implantações JAR e Python. Não é mais possível criar implantações JAR e Python na página SQL Editor. Crie implantações JAR e Python diretamente na página Deployments. Os rascunhos JAR e Python criados na página Draft Editor podem ser encontrados no arquivo de rascunhos.

Visão geral do desenvolvimento de jobs

Otimização do processo de criação de implantações JAR e Python

O processo de criação de implantações JAR e Python foi otimizado. Clique em Create Deployment na página Deployments para criar uma implantação JAR ou Python.

• Criar uma implantação JAR

• Criar uma implantação Python

Otimização do processo de inicialização de implantações

As informações sobre os recursos de uma implantação e as configurações relacionadas do Flink são exibidas na aba Configuration da página Deployments. Ajuste as configurações de recursos sem precisar cancelar a implantação. Especifique apenas um offset inicial ao iniciar uma implantação.

Iniciar uma implantação

Adição da página Catalogs

A página Catalogs foi adicionada. A comunidade Apache Flink não recomenda o uso de tabelas temporárias. Para evitar o uso repetido de instruções DDL, recomendamos o uso de catálogos para criar rascunhos SQL. Esta versão oferece capacidades aprimoradas de catálogo para suportar o uso de catálogos em rascunhos SQL e permitir que você gerencie rascunhos SQL de maneira eficiente.

Nenhuma

Otimização do processo de depuração de implantações SQL

O processo de depuração de implantações SQL foi otimizado. Para depurar uma implantação SQL, selecione um cluster de sessão existente para depuração em vez de configurar um novo cluster de sessão. Dessa forma, não é necessário trocar frequentemente de clusters durante a depuração se uma implantação tiver várias versões.

Depurar um rascunho SQL

Adição da página Security

Os recursos de autorização de usuário e hospedagem de chaves foram integrados à página Security. Complete as configurações relacionadas à segurança da plataforma na página Security. Em versões anteriores, o recurso de hospedagem de chaves estava disponível na aba Key Replacement.

Gerenciar uma chave

Adição da página Connectors

A página Connectors foi disponibilizada para permitir a visualização dos tipos e versões de conectores suportados por diferentes versões da engine e para gerenciar conectores personalizados.

Gerenciar conectores personalizados

Alertas para implantações com falha,

envio de notificações de alerta por telefone e busca de contatos

O recurso de monitoramento e alerta foi otimizado nos seguintes aspectos:

• Permite definir o parâmetro Notification como Phone para enviar notificações de alerta por telefone e pesquisar contatos.

• Suporta alertas para implantações com falha.

Configurar monitoramento e alertas

Login usando uma conta de função

Uma conta de função pode ser usada para fazer login no console de gerenciamento do Realtime Compute for Apache Flink. Por padrão, as permissões de proprietário são utilizadas. Não é possível configurar permissões para a conta de função.

-

Detecção de rede

Um endereço IP ou nome de domínio pode ser usado para verificar se o ambiente de execução de uma implantação do Realtime Compute for Apache Flink está conectado aos sistemas upstream e downstream.

Nenhuma

Catálogos personalizados

Catálogos integrados são fornecidos no console do Realtime Compute for Apache Flink. Após registrar metadados usando um catálogo, não é necessário usar frequentemente instruções DDL para criar tabelas temporárias ao criar um rascunho SQL. Também é possível criar catálogos personalizados e usar os pacotes JAR desses catálogos.

-

Capacidades aprimoradas de diagnóstico inteligente de implantações

O recurso de diagnóstico inteligente de implantações foi aprimorado. Esse recurso ajuda a analisar logs de erro gerados durante o desenvolvimento de rascunhos e a execução de implantações. Ao visualizar informações na página de log, o sistema analisa automaticamente os logs e fornece sugestões de operações executáveis.

Executar diagnóstico inteligente de jobs

Atualização do cliente do conector Log Service

O desempenho e a estabilidade do conector Log Service foram melhorados.

Nenhuma

Extensão CEP SQL

A declaração de continuidade de loop pode ser usada junto com a sintaxe UNTIL no CEP SQL.

Nenhuma