Todos os produtos
Search
Central de documentação

DataWorks:Notas de versão

Última atualização: Oct 31, 2026

O DataWorks lança novos recursos e atualiza os existentes. Este tópico acompanha os lançamentos de recursos e a documentação relacionada.

2026

Abril de 2026

Recurso

Descrição

Data de lançamento

Região

Público-alvo

Documentação

DataWorks cria assistente de IA personalizado com base no framework OpenClaw

O DataWorks oferece um assistente de IA personalizado para usuários, desenvolvido sobre o framework OpenClaw.

30/04/2026

China (Zhangjiakou), China (Beijing), China (Ulanqab), China (Hangzhou), China (Shanghai), China (Shenzhen), China (Chengdu), China (Hong Kong), Singapore, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Japan (Tokyo)

Todos os usuários do DataWorks

DataWorks intelligent assistant overview

Aumento da cota gratuita e faturamento por uso para chamadas de Open API nas edições Standard e Professional

Para usuários das edições Standard e Professional do DataWorks, o limite diário de chamadas de API foi removido. A cota gratuita da edição Standard passou para 100.000 chamadas mensais, e a da Professional para 500.000 chamadas mensais. Chamadas excedentes são cobradas no modelo de pagamento conforme o uso para Open API. As edições Basic e Enterprise permanecem inalteradas. Os limites de QPS também não sofreram alterações em nenhuma edição. Para mais detalhes, consulte o comunicado da Alibaba Cloud.

23/04/2026

Todas as regiões

Todos os usuários do DataWorks

Use DataWorks Open API

Março de 2026

Recurso

Descrição

Data de lançamento

Região

Público-alvo

Documentação

Sincronização em lote de banco de dados completo do MySQL para DLF (Paimon)

Há suporte à sincronização em lote de banco de dados completo do MySQL para DLF, utilizando Paimon como formato de destino.

26/03/2026

Todas as regiões

Todos os usuários do DataWorks

/

Upgrade de workspace do modo básico para o padrão

É possível atualizar workspaces do modo básico para o padrão. Workspaces com a nova IDE do Data Studio ativada também são compatíveis.

26/03/2026

Todas as regiões

Todos os usuários do DataWorks

/

Tabelas DLF aceitam solicitação de permissão

O DLF conta com o recurso de solicitação de permissão. Você pode iniciar uma requisição de acesso a dados diretamente pelo Data Map.

26/03/2026

Todas as regiões

Todos os usuários do DataWorks

/

Visualização de dados em tabelas DLF via Serverless Spark

O DLF permite visualizar dados usando Serverless Spark. Utilize recursos computacionais do Spark no DataWorks e scripts de consulta personalizados para obter pré-visualizações rápidas.

26/03/2026

Todas as regiões

Todos os usuários do DataWorks

/

ChatBI disponibiliza modo de análise profunda

O DataWorks ChatBI traz um modo de análise profunda com drill-down multidimensional, análise de causa raiz, comparação de séries temporais, detecção de anomalias e atribuição inteligente, ideal para cenários de análise exploratória.

26/03/2026

China (Zhangjiakou), China (Chengdu), China (Shenzhen), China (Beijing), China (Hangzhou), China (Shanghai), China (Hong Kong), Indonesia (Jakarta)

Todos os usuários do DataWorks

/

Data Service integra-se ao Cloud-native API Gateway

O Data Service do DataWorks agora suporta o Cloud-native API Gateway. Crie APIs de dados pelo modo assistente ou script e implante-as no Cloud-native API Gateway com um clique para disponibilizar serviços online.

26/03/2026

Todas as regiões

Todos os usuários do DataWorks

Create an API by using Cloud-native API Gateway

Suporte a Kyuubi Gateway de alta disponibilidade para Serverless Spark no DataWorks

Quando a alta disponibilidade está ativada no Serverless Spark associado ao DataWorks como recurso computacional, tarefas de Serverless Spark SQL e Serverless Kyuubi podem ser enviadas por meio do Kyuubi Gateway altamente disponível.

26/03/2026

Todas as regiões

Todos os usuários do DataWorks

/

Modo de consulta completa de dados para Hologres, ClickHouse e MySQL na Análise de Dados

A Análise de Dados do DataWorks oferece modo de consulta completa para fontes Hologres, ClickHouse e MySQL, recomendado para cenários de análise e consulta de grandes volumes onde uma única consulta ultrapassa 10.000 linhas ou 10 MB.

26/03/2026

Todas as regiões

Todos os usuários do DataWorks

/

Fevereiro de 2026

Recurso

Descrição

Data de lançamento

Região

Público-alvo

Documentação

Nós SQL do Data Studio aceitam regras de teste de qualidade de dados

Os nós MaxCompute SQL do Data Studio permitem configurar regras de teste de qualidade de dados para validar tabelas de desenvolvimento e produção geradas pelo nó. Essa funcionalidade integra definição de regras, testes e fluxos de desenvolvimento SQL, resolvendo problemas comuns como atraso na configuração de regras, descoberta tardia de falhas nos dados e custos elevados de manutenção.

20/02/2026

Todas as regiões

Todos os usuários do DataWorks

Configure data quality tests

Pré-verificação avançada de governança de dados em nós SQL do Data Studio

Nós SQL do Data Studio contam com pré-verificação avançada para governança de dados. Defina regras personalizadas com base em IA para identificar e corrigir problemas de código em tempo real durante a escrita, elevando a qualidade do código e a segurança dos dados.

20/02/2026

Todas as regiões

Todos os usuários do DataWorks

Troubleshoot and manage node development issues

Agente do Operation Center

O Agente de operações de dados do DataWorks realiza diagnósticos completos com IA, gera relatórios estruturados e executa ações como reexecução e alteração de grupos de recursos diretamente na conversa (mediante confirmação manual), aumentando a eficiência operacional.

20/02/2026

China (Beijing), China (Zhangjiakou), China (Ulanqab), China (Hangzhou), China (Shanghai), China (Shenzhen), China (Chengdu), China (Hong Kong), Singapore, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Japan (Tokyo)

Todos os usuários do DataWorks

Data operations Agent

Transferência de desligamento no Data Studio

O Data Studio inclui o recurso de transferência de desligamento, facilitando a transição ordenada de ativos de desenvolvimento de dados quando colaboradores deixam a empresa.

20/02/2026

China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Ulanqab), China (Shenzhen), China (Chengdu), China (Hong Kong), Japan (Tokyo), Singapore, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Thailand (Bangkok), Germany (Frankfurt), UK (London), US (Silicon Valley), US (Virginia)

Todos os usuários do DataWorks

/

Operações em lote no assistente de operações

O assistente de operações do DataWorks aceita execuções em lote. Insira manualmente os dados ou carregue um arquivo para aplicar operações simultâneas em todas as instâncias listadas.

20/02/2026

China (Ulanqab)

Todos os usuários do DataWorks

/

2025

Dezembro de 2025

Recurso

Descrição

Data de lançamento

Região

Público-alvo

Documentação

Aprimoramentos na capacidade de Integração de Dados

  • Suporte à sincronização em tempo real de banco de dados completo do PostgreSQL para o Lindorm, com sincronização incremental automática após a conclusão da sincronização completa.

  • Sincronização em tempo real de banco de dados completo do PostgreSQL para o AnalyticDB for MySQL, incluindo sincronização incremental automática ao término da fase completa.

  • Disponibilidade de sincronização em lote de banco de dados completo do Hive para o DLF, abrangendo sincronizações completas e incrementais únicas ou periódicas.

20-12-2025

Todas as regiões

Todos os usuários do DataWorks

Data Map adiciona suporte à coleta de metadados do Paimon Catalog e MongoDB

O DataWorks passa a oferecer coleta de metadados do Paimon Catalog, permitindo que usuários de Paimon Catalog autogerenciado (não DLF, em OSS FileSystem) coletem e gerenciem metadados e visualizem detalhes. A coleta periódica de metadados do MongoDB também é suportada, ajudando desenvolvedores de dados a descobrir, compreender e gerenciar rapidamente coleções e estruturas de colunas no MongoDB, melhorando a visibilidade e a eficiência da governança de ativos de dados semiestruturados.

20-12-2025

Todas as regiões

Todos os usuários do DataWorks

Metadata collection

Open Data adiciona visualizações de dados abertos de Qualidade de Dados

Com base no Open Data do DataWorks, a visualização de instância de qualidade foi lançada, permitindo consultas SQL do MaxCompute sobre o status diário das instâncias de Qualidade de Dados e métricas estatísticas para análises de qualidade multidimensionais personalizadas.

20-12-2025

Todas as regiões

Usuários do DataWorks Enterprise Edition

Open Data table schemas

Novembro de 2025

Recurso

Descrição

Data de lançamento

Região

Público-alvo

Documentação

Nós For-each suportam multiconcorrência

Os nós For-each permitem configurar a política de execução como serial ou paralela.

27-11-2025

Todas as regiões

Todos os usuários do DataWorks

For-each node

Novo nó Dependent

O DataWorks introduz o nó Dependent, que permite configurar dependências complexas entre ciclos.

27-11-2025

Todas as regiões

Todos os usuários do DataWorks

Dependency check node

Notebook adiciona suporte a recursos de computação do ADB Spark

No Notebook do DataWorks, utilize Magic Commands para conectar-se rapidamente aos recursos de computação do ADB Spark em cenários de desenvolvimento de dados PySpark.

27-11-2025

Todas as regiões

Todos os usuários do DataWorks

Advanced notebook development

Resultados de consultas SQL do Data Analysis suportam exportação para o OSS

Após executar uma consulta SQL no Data Analysis e gerar resultados, exporte-os rapidamente clicando em Export > OSS para arquivamento e reutilização dos dados.

27-11-2025

Todas as regiões

Todos os usuários do DataWorks

Export and share

Integração de Dados suporta fontes de dados públicas como origem

A Integração de Dados aceita fontes de dados públicas como origens, habilitando a sincronização em lote de tabela única para qualquer destino compatível.

20-11-2025

Todas as regiões

Todos os usuários do DataWorks

Public dataset data source

Aprimoramentos na capacidade de Integração de Dados

  • Sincronização em tempo real de tabela única do Hologres para tabela larga do Lindorm.

  • Gravação em lote de tabela única no AWS S3.

  • Sincronização em tempo real de banco de dados completo do PostgreSQL para MaxCompute DeltaTable.

  • Leitura em lote de tabela única de fonte de dados DataBricks.

  • Sincronização em tempo real de tabela única do Kafka para o Lindorm.

  • Sincronização em tempo real de banco de dados completo do OceanBase para o Hologres.

20-11-2025

Todas as regiões

Todos os usuários do DataWorks

Overview

Outubro de 2025

Recurso

Descrição

Data de lançamento

Região

Público-alvo

Documentação

Data Studio suporta conexão com editores locais

Desenvolvedores podem usar suas IDEs locais habituais para projetos em cloud, combinando hábitos pessoais de desenvolvimento com colaboração e gerenciamento de versões baseados em nuvem.

25-10-2025

China (Zhangjiakou), China (Ulanqab), China (Beijing), China (Hangzhou), China (Shanghai), China (Shenzhen), China (Chengdu), Malaysia (Kuala Lumpur), Indonesia (Jakarta), Thailand (Bangkok), Japan (Tokyo), US (Silicon Valley), Germany (Frankfurt), UK (London), US (Virginia), China (Hong Kong), Singapore

Usuários do novo Data Studio

/

Sincronização de código entre a nova IDE e o Git

O suporte à sincronização automática de código para o Git e mesclagem do Git para o Data Studio está concluído. Este recurso oferece suporte abrangente de DevOps para clientes empresariais e aprimora as capacidades de colaboração em equipe.

25-10-2025

China (Zhangjiakou), China (Ulanqab), China (Beijing), China (Hangzhou), China (Shanghai), China (Shenzhen), China (Chengdu), Malaysia (Kuala Lumpur), Indonesia (Jakarta), Thailand (Bangkok), Japan (Tokyo), US (Silicon Valley), Germany (Frankfurt), UK (London), US (Virginia), China (Hong Kong), Singapore

Usuários do novo Data Studio

Git code synchronization and merge

Novos nós Serverless Spark/StarRocks

A adaptação completa ao OpenLake foi finalizada, incluindo suporte a workspaces do OpenLake com novos nós Serverless Spark/StarRocks, proporcionando uma experiência de desenvolvimento eficiente e contínua para usuários do OpenLake.

25-10-2025

China (Zhangjiakou), China (Ulanqab), China (Beijing), China (Hangzhou), China (Shanghai), China (Shenzhen), China (Chengdu), Malaysia (Kuala Lumpur), Indonesia (Jakarta), Thailand (Bangkok), Japan (Tokyo), US (Silicon Valley), Germany (Frankfurt), UK (London), US (Virginia), China (Hong Kong), Singapore

Usuários do novo Data Studio

Agente de desenvolvimento de dados

O agente de desenvolvimento de dados possui capacidades autônomas de desenvolvimento ponta a ponta. Com base nos documentos de requisitos enviados pelos usuários, ele completa autonomamente todo o processo de desenvolvimento ETL, desde o planejamento das tarefas até a implantação final, auxiliando na análise de requisitos, geração de código, criação de workflows, definições de agendamento e implantação. O objetivo é melhorar significativamente a experiência de desenvolvimento, reduzir taxas de erro de código e encurtar os ciclos de entrega de projetos.

25-10-2025

China (Zhangjiakou), China (Beijing), China (Ulanqab), China (Hangzhou), China (Shanghai), China (Shenzhen), China (Chengdu), China (Hong Kong), Singapore, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Japan (Tokyo)

Usuários do novo Data Studio

Data development agent

Motor de Regras do Copilot

O Motor de Regras do Copilot foi lançado, permitindo que os usuários influenciem o comportamento do Agente com base em padrões da equipe ou preferências pessoais. Por meio de configurações flexíveis de regras, atende melhor às necessidades de padronização e personalização de cenários empresariais.

25-10-2025

China (Zhangjiakou), China (Beijing), China (Ulanqab), China (Hangzhou), China (Shanghai), China (Shenzhen), China (Chengdu), China (Hong Kong), Singapore, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Japan (Tokyo)

Usuários do novo Data Studio

Rules

Pesquisa de conjuntos de dados multimodais

O DataWorks suporta pesquisa em nível de tenant de conjuntos de dados multimodais gerenciados, permitindo busca unificada e visualização de conjuntos criados e gerenciados no DataWorks e de conjuntos de dados do PAI. Para conjuntos de dados do PAI com tags e índices, há suporte a pesquisa semântica nos detalhes do conjunto.

17-10-2025

Todas as regiões

Todos os usuários nas regiões suportadas

/

Novo nó LLM

O nó LLM integra grandes modelos de linguagem para fornecer capacidades inteligentes de processamento e análise de dados aos desenvolvedores, reduzindo significativamente as barreiras técnicas e capacitando mais usuários de negócios a participar do trabalho com dados.

17-10-2025

China (Hangzhou), China (Shanghai), China (Beijing), China (Ulanqab), China (Shenzhen), China (Hong Kong), Japan (Tokyo), Singapore, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Germany (Frankfurt), US (Silicon Valley) e US (Virginia)

Usuários do novo Data Studio

Large language model node

Open Data do DataWorks

O Open Data do DataWorks fornece uma coleção de metadados centralizada, unificada e fácil de usar, cobrindo informações detalhadas sobre tabelas, nós de tarefas, instâncias, workspaces, membros e projetos sob o tenant atual. Ao instalar o Open Data em um workspace associado a um recurso de computação MaxCompute, utilize a autorização de visualização do Pacote MaxCompute para compartilhar metadados no desenvolvimento e análise de dados, obtendo rapidamente metadados padronizados e rastreáveis para alcançar governança e análise eficientes.

14-10-2025

Todas as regiões

Usuários do DataWorks Enterprise Edition

Setembro de 2025

Recurso

Descrição

Data de lançamento

Região

Público-alvo

Documentação

Aprimoramentos na capacidade de Integração de Dados

  • Sincronização em tempo real de tabela única do Hologres para o MaxCompute.

  • Leitura em lote de tabela única de tabelas Lindorm Iceberg para exportação de dados do data lake.

  • Leitura em lote de tabela única do DLF para exportação de dados do data lake.

  • Sincronização em lote de tabelas fragmentadas do OceanBase para o MaxCompute no modo de tabela única.

22-09-2025

Todas as regiões

Todos os usuários nas regiões suportadas

Overview

Modelos de regras de alerta da Integração de Dados

Configure modelos de alerta no console de Integração de Dados para aplicar uma única configuração de alerta em múltiplas tarefas, aumentando a eficiência do processo.

22-09-2025

Todas as regiões

Todos os usuários nas regiões suportadas

Public Alert Rule

LLM de processamento de dados suporta modelos personalizados

Modele grandes modelos de linguagem personalizados para processamento de dados assistido por IA na sincronização em lote de tabela única na Integração de Dados, permitindo o uso de seus próprios modelos treinados para tarefas relacionadas à IA.

22-09-2025

Todas as regiões

Todos os usuários nas regiões suportadas

AI Content Processing

Processamento da Integração de Dados suporta embedding

O recurso de processamento de dados para sincronização em lote de tabela única na Integração de Dados introduz a vetorização por embedding. Ele extrai dados de fontes heterogêneas como OSS, MaxCompute e HDFS, converte-os em vetores e os grava em bancos de dados vetoriais como Milvus, Elasticsearch e OpenSearch, além de tabelas vetoriais do Hologres. Isso simplifica significativamente os workflows de ETL, vetoriza conhecimento de forma eficiente e dá suporte a RAG e outros cenários de IA.

22-09-2025

Todas as regiões

Todos os usuários nas regiões suportadas

Vectorization

Grupos de recursos do DataWorks suportam implantação e uso de serviços LLM

Os serviços LLM do DataWorks oferecem capacidades integradas para implantação eficiente, comunicação segura e invocação conveniente. Implante modelos facilmente em grupos de recursos serverless do DataWorks e invoque-os diretamente nas tarefas de desenvolvimento de dados. Todo o tráfego é transmitido por canais de rede privada estabelecidos via PrivateLink, garantindo que os dados nunca saiam da rede e protegendo efetivamente a segurança das informações.

22-09-2025

China (Hangzhou), China (Shanghai), China (Beijing), China (Ulanqab), China (Shenzhen), China (Hong Kong), Japan (Tokyo), Singapore, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Germany (Frankfurt), US (Silicon Valley) e US (Virginia)

Todos os usuários nas regiões suportadas

Agosto de 2025

Recurso

Descrição

Data de lançamento

Região

Público-alvo

Documentação

Recurso de computação EMR Serverless Spark adiciona suporte a Open LDAP e EMR Kyuubi

O recurso de computação EMR Serverless Spark passa a suportar mapeamento de contas Open LDAP e configuração do Kyuubi, permitindo gerenciamento de permissões mais eficiente e desenvolvimento de tarefas de nó EMR Kyuubi baseadas nesse recurso.

14-08-2025

Todas as regiões

Usuários do novo Data Studio

Associate EMR Serverless Spark computing resource

Nó Notebook adiciona comandos de atalho Magic

Durante o desenvolvimento no Notebook, utilize comandos Magic em células Python para criar e iniciar rapidamente serviços Livy, conectando-se aos recursos de computação MaxCompute Spark e EMR Serverless Spark para desenvolvimento e depuração eficientes.

07-08-2025

Todas as regiões

Usuários do novo Data Studio

Basic notebook development

Julho de 2025

Recurso

Descrição

Data de lançamento

Região

Público-alvo

Documentação

Configurações de agendamento de nós do Data Studio adicionam parâmetro de cota de computação

O Data Studio permite configurar cotas de computação nas definições de agendamento de nós MaxCompute SQL e MaxCompute Script.

31-07-2025

Todas as regiões

Usuários do novo Data Studio

Configure node scheduling

Data Studio adiciona recursos de clonagem e restauração de versão

Realize operações de clonagem e restauração de versão em workflows, nós e componentes no Data Studio para reutilização rápida e recuperação de versões históricas.

31-07-2025

Todas as regiões

Usuários do novo Data Studio

Uso de conjuntos de dados

Utilize conjuntos de dados em nós Shell, nós Python, Notebooks e ambientes de desenvolvimento pessoal no Data Studio.

28-07-2025

Todas as regiões

Usuários do novo Data Studio

Use datasets

Gerenciamento de conjuntos de dados

O DataWorks adiciona gerenciamento de conjuntos de dados, habilitando controle de versão para dados não estruturados, como imagens e documentos.

28-07-2025

Todas as regiões

Todos os usuários

Manage datasets

Data Security Guard

O ponto de entrada do Data Security Guard foi ajustado.

Antes: All Products > Data Asset Governance > Data Security Guard

Depois: All Products > Data Asset Governance > Security Center. No painel de navegação à esquerda do Security Center, clique em Sensitive data management.

10-07-2025

China (Shanghai), China (Shenzhen), China (Beijing), China (Chengdu)

Todos os usuários nas regiões suportadas

-

Data Studio adiciona workflows baseados em gatilhos

Workflows baseados em gatilhos são adequados para cenários sem agendamento fixo. Execute esses workflows manualmente ou acione execuções baseadas em eventos.

07-07-2025

China (Hangzhou), China (Ulanqab), China (Shenzhen)

Usuários do novo Data Studio

Junho de 2025

Recurso

Descrição

Data de lançamento

Região

Público-alvo

Documentação

Conversão de grupos de recursos pagamento conforme o uso para assinatura

Grupos de recursos serverless no modelo pagamento conforme o uso podem ser convertidos para faturamento por assinatura.

19-06-2025

Todas as regiões

Todos os usuários

Use serverless resource groups

Sincronização de dados

Em tarefas de sincronização em tempo real de banco de dados completo do MySQL ou PolarDB para o MaxCompute, utilize expressões de função para definir valores de coluna nas atribuições da tabela de destino.

11-06-2025

Todas as regiões

Todos os usuários

Use function expressions to assign values to destination table fields

PAIFlow

O PAI Flow oferece capacidades de desenvolvimento de workflows de machine learning ponta a ponta. Ele fornece os mesmos recursos de workflow que o Designer visual modeling do Platform for AI (PAI) e suporta agendamento periódico de workflows.

10-06-2025

China (Hangzhou), China (Shanghai), China (Beijing), China (Ulanqab), China (Shenzhen), China (Hong Kong), Singapore, Indonesia (Jakarta), Japan (Tokyo), Germany (Frankfurt), US (Silicon Valley), US (Virginia)

Usuários do novo Data Studio

PAI Flow nodes

Teste de fumaça

O Smoke testing agora é suportado para verificar se a lógica de substituição de parâmetros e os resultados de execução de tarefas de nós agendados atendem às expectativas, evitando que erros básicos de configuração afetem os dados de produção.

10-06-2025

Todas as regiões

Todos os usuários

Smoke testing

Painel de operações adiciona tarefas manuais

O painel de operações agora permite visualizar o status de execução de tarefas para workflows manuais e instâncias de tarefas internas.

04-06-2025

Todas as regiões

Todos os usuários

O&M dashboard

Maio de 2025

Recurso

Descrição

Data de lançamento

Região

Público-alvo

Documentação

Ambiente de desenvolvimento pessoal

Ao criar uma imagem personalizada do DataWorks no ambiente de desenvolvimento pessoal, uma imagem personalizada do MaxCompute é gerada simultaneamente.

23-05-2025

Todas as regiões

Usuários do novo Data Studio

Create a MaxCompute custom image

Revisão de código

A revisão de código visa otimizar o código de produção por meio de intervenção manual para melhorar a qualidade do código das tarefas agendadas e garantir conformidade com as especificações. Com base nos requisitos de gestão de negócios, decida se deve impor a revisão manual de código antes da implantação das tarefas no ambiente de produção. Após ativar a revisão obrigatória, apenas tarefas revisadas poderão ser implantadas em produção.

23-05-2025

Todas as regiões

Usuários do novo Data Studio

Code review

Abril de 2025

Recurso

Descrição

Data de lançamento

Região

Público-alvo

Documentação

Novo DataWorks no Lindorm

Associe recursos de computação Lindorm a workspaces. Desenvolva tarefas por meio de nós Lindorm Spark e Lindorm Spark SQL, além de gerenciar e manter a linhagem de dados do Lindorm no Data Map.

18-04-2025

China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen)

Usuários do novo Data Studio

Integração de Dados

A fonte de dados MongoDB adiciona suporte às versões 6.x e 7.x.

14-04-2025

Todas as regiões

Todos os usuários

MongoDB data source

Data Studio/desenvolvimento de dados

Mapeamento de metadados e sincronização de dados entre MaxCompute e Hologres agora são suportados.

10-04-2025

Todas as regiões

Todos os usuários

Data Studio/desenvolvimento de dados

O DataWorks Agent foi lançado, suportando tarefas de desenvolvimento de dados por meio de interação em linguagem natural.

08-04-2025

Todas as regiões

Todos os usuários

DataWorks Agent for third-party clients

Março de 2025

Recurso

Descrição

Data de lançamento

Região

Público-alvo

Documentação

Integração de Dados

Suporte à fonte de dados Milvus.

27-03-2025

Todas as regiões

Todos os usuários

Milvus

Integração de Dados

Sincronização em tempo real de banco de dados completo do MySQL para LogHub (SLS).

12-03-2025

Todas as regiões

Todos os usuários

Real-time synchronization: Entire MySQL database to LogHub (SLS)

Operation Center

Suporte aos recursos de pesquisa inteligente e salvamento de visualizações do Copilot.

03-03-2025

Todas as regiões

Todos os usuários

Fevereiro de 2025

Recurso

Descrição

Data de lançamento

Região

Público-alvo

Documentação

Operation Center

Acesso à Web UI interna do EMR nos logs de execução de tarefas através da rede pública via diagnósticos inteligentes.

26-02-2025

China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen), China (Hong Kong), Japan (Tokyo), Singapore, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Germany (Frankfurt), US (Silicon Valley), US (Virginia), UAE (Dubai)

Usuários do DataWorks Professional Edition e superior

Run diagnostics

Operation Center

Quando as linhas de base estão ativadas, configure o parâmetro ENABLE_TASK_PRIORITY nos nós EMR do Data Studio para controlar a prioridade da fila YARN em cenários de agendamento.

14-02-2025

Todas as regiões

Todos os usuários

Map baseline priorities to YARN queue priorities

Data Studio/desenvolvimento de dados

Os nós PyODPS 3 do Data Studio suportam atualização da versão do PyODPS.

14-02-2025

Todas as regiões

Todos os usuários

Assistente inteligente (Copilot)

O DataWorks Copilot suporta modelos DeepSeek (DeepSeek-R1-671B e DeepSeek-R1-Distill-Qwen-32B).

14-02-2025

China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen), China (Chengdu)

Todos os usuários

Coding Assistant

Assistente inteligente (Copilot)

O DataWorks Copilot adiciona suporte aos recursos de otimização e teste de código.

14-02-2025

China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen), China (Chengdu), Singapore, Malaysia (Kuala Lumpur), Indonesia (Jakarta)

Todos os usuários

Coding Assistant

Ambiente de desenvolvimento pessoal

  • Instâncias do ambiente de desenvolvimento pessoal suportam criação baseada em imagens GPU, adequadas para frameworks de deep learning como TensorFlow e PyTorch.

  • As instâncias do ambiente de desenvolvimento pessoal aceitam políticas de desligamento automático no nível do workspace e configuração de desligamento agendado.

12-02-2025

Todas as regiões

Usuários do novo Data Studio

Personal Development Environment Management

Operation Center

Operações automáticas adicionam política de reexecução automática.

10-02-2025

Todas as regiões

Todos os usuários

Automated O&M

Data Studio adiciona novos nós

SUB_PROCESS é um tipo especial de tarefa que referencia outra tarefa de workflow definida dentro de um workflow. Esse tipo é adequado para dividir tarefas complexas em múltiplas subtarefas, cada uma definida e gerenciada independentemente, melhorando a manutenibilidade e a reutilização das tarefas.

06-02-2025

Todas as regiões

Usuários do novo Data Studio

SUB_PROCESS node

Janeiro de 2025

Recurso

Descrição

Data de lançamento

Região

Público-alvo

Documentação

Fonte de dados

Suporte à fonte de dados PolarDB-O (fragmentada).

14-01-2025

Todas as regiões

Todos os usuários

Sharding synchronization

Grupos de recursos legados suportam substituição de zona de disponibilidade

Capacidades de recuperação de desastres de recursos aprimoradas, permitindo resposta a falhas mais rápida e conveniente.

02-01-2025

Todas as regiões

Todos os usuários

2024

Dezembro

Recurso

Descrição

Data de lançamento

Região

Usuário-alvo

Documentação

Novos nós no Data Studio

O Data Studio adiciona o nó ADB Spark SQL para desenvolver tarefas do AnalyticDB Spark SQL com agendamento periódico e integração a outros jobs.

2024-12-19

Todas as regiões

Usuários do novo Data Studio

ADB Spark SQL node

Novos nós no Data Studio

O Data Studio adiciona o nó ADB Spark para desenvolver tarefas do AnalyticDB Spark com agendamento periódico e integração a outros jobs.

2024-12-19

Todas as regiões

Usuários do novo Data Studio

ADB Spark node

Uso de tabelas dinâmicas do Hologres

O DataWorks Data Catalog integra o mecanismo de tabela dinâmica do Hologres, oferecendo ferramentas visuais para gerenciar tabelas dinâmicas, dependências de agendamento e manutenção de tarefas.

2024-12-13

Todas as regiões

Usuários do novo Data Studio

Use Hologres Dynamic Tables

Fonte de dados

Há suporte para a fonte de dados TiDB.

2024-12-04

Todas as regiões

Todos os usuários

TiDB data source

Data Quality

O Data Quality adiciona modelos de verificação de qualidade por correspondência de formato, permitindo definir expressões regulares personalizadas e o formato esperado dos dados. Modelos integrados validam conteúdos comuns como e-mail, telefone fixo, celular e número de identificação.

2024-12-02

Todas as regiões

Todos os usuários

View built-in rule templates

Novembro

Recurso

Descrição

Data de lançamento

Região

Usuário-alvo

Documentação

Data Integration

Há suporte para sincronização em tempo real de banco de dados completo do tenant MySQL do ApsaraDB for OceanBase para o MaxCompute.

2024-11-21

Todas as regiões

Todos os usuários

Real-time sync of an entire OceanBase database to MaxCompute

Data Map

A coleta de metadados do Data Map agora permite coletar e gerenciar metadados do AnalyticDB for Spark.

2024-11-21

Todas as regiões

Usuários do novo Data Studio

Metadata collection

Data Map

É possível criar insights de dados na página de detalhes da tabela do MaxCompute no Data Map para obter estatísticas e distribuição de dados por meio de análise e interpretação profunda.

2024-11-21

China (Hangzhou), China (Shanghai), China (Shenzhen), China (Chengdu), China (Zhangjiakou), China (Beijing), China (Ulanqab)

Todos os usuários

MaxCompute table data

Data Asset Governance

O centro de governança de dados foi atualizado para Data Asset Governance, que descobre automaticamente problemas nas dimensões de armazenamento de dados, computação de tarefas, desenvolvimento de código e qualidade de dados com base em planos de governança pré-configurados. Por meio de avaliações quantitativas de pontuação de integridade sob múltiplas perspectivas, ele ajuda você a atingir metas de governança com eficiência. Também oferece recursos de gestão de ativos de negócios, análise de ativos, detalhes de consumo de recursos das tarefas e estimativa de custos para acompanhar o uso de recursos de forma eficaz.

2024-11-14

China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen), China (Chengdu), China (Hong Kong), Singapore, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Germany (Frankfurt), US (Silicon Valley), US (Virginia)

Todos os usuários

Data Asset Governance Overview

Recurso de computação

Há suporte para associar recursos de computação do AnalyticDB for Spark.

2024-11-05

Todas as regiões

Usuários do novo Data Studio

Associate a computing resource

Ambiente de desenvolvimento pessoal conectado ao Git

Há suporte para integração entre o ambiente de desenvolvimento pessoal e repositórios Git para gerenciamento de versões de código e colaboração em equipe.

2024-11-04

Todas as regiões

Usuários do novo Data Studio

Connect a personal development environment to a Git repository

Outubro

Recurso

Descrição

Data de lançamento

Região

Usuário-alvo

Documentação

Gerenciamento de imagens

O DataWorks permite criar imagens personalizadas como imagens persistentes. Não é mais necessário reimplantar o ambiente da imagem a cada execução. Usar o mesmo ambiente de imagem em cada execução de nó de tarefa garante consistência no ambiente de runtime e economiza tempo de execução, custos de computação e custos de tráfego.

2024.10.18

China (Beijing), China (Shanghai), China (Shenzhen), China (Hangzhou), China (Hong Kong), China (Zhangjiakou), Singapore, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Japan (Tokyo), Germany (Frankfurt), UK (London), US (Silicon Valley), US (Virginia)

Todos os usuários do DataWorks

Custom image

Tarefas de sincronização serverless

O Data Integration adiciona o tipo de tarefa de sincronização Serverless, sem o conceito de grupo de recursos. Você precisa focar apenas na lógica de sincronização em si.

2024.10.12

China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen), China (Hong Kong), UK (London), US (Silicon Valley), US (Virginia), Japan (Tokyo), Germany (Frankfurt), Malaysia (Kuala Lumpur)

Todos os usuários do DataWorks

Serverless synchronization task configuration

Setembro

Recurso

Descrição

Data de lançamento

Região

Usuário-alvo

Documentação

Tarefas de sincronização em tempo real

Há suporte para ingestão em tempo real de tabela única do LogHub (SLS) para o Data Lake Formation 2.0, gravando dados da tabela no formato Paimon com processamento simples intermediário.

2024.9.13

Todas as regiões

Todos os usuários do DataWorks

Real-time single-table ingestion from LogHub (SLS) into Data Lake Formation

Tarefas de sincronização em tempo real

A alocação de recursos para tarefas de sincronização em tempo real pode ser ajustada dinamicamente durante a execução, sem parar a tarefa. É possível definir um plano de ajuste para modificações agendadas.

2024.9.13

Todas as regiões

Todos os usuários do DataWorks

Dynamic scaling conditions for resource tuning

Agosto

Recurso

Descrição

Data de lançamento

Região

Usuário-alvo

Documentação

Tarefas de sincronização em tempo real

Agora há suporte para sincronização em tempo real de banco de dados completo do MySQL para SelectDB ou Apache Doris.

2024.8.29

Todas as regiões

Todos os usuários do DataWorks

Real-time synchronization from a full MySQL database to SelectDB

Controle de acesso a dados do Hologres

O DataWorks Security Center oferece recursos de controle de acesso para dados do Hologres, incluindo definição de identidades autorizadas, solicitações de permissão e aprovações de permissão. Também permite visualizar registros de solicitações e aprovações de permissões.

2024.8.22

Todas as regiões

Todos os usuários do DataWorks

Control access to Hologres data

Exportar resultados de consulta SQL para planilhas do DingTalk

Após executar uma consulta SQL no DataWorks, exporte os resultados diretamente como documentos do DingTalk pelo aplicativo DingTalk, evitando riscos de segurança associados ao download de dados de consulta como arquivos Excel.

2024.8.14

China (Zhangjiakou)

China (Chengdu)

Todos os usuários do DataWorks

Exportar resultados de consulta para o DingTalk

Redução nos requisitos de permissão para alterar a identidade de acesso padrão da fonte de dados do MaxCompute

Quando a identidade de acesso padrão de uma fonte de dados do MaxCompute for outro usuário RAM, o requisito mudou de "ter a permissão RAM AdministratorAccess" para "ter a permissão admin ou super_administrator do projeto MaxCompute".

2024.8.8

Todas as regiões

Todos os usuários do DataWorks

Associate a MaxCompute compute resource

A Enterprise Edition oferece suporte ao Cloud SSO

A DataWorks Enterprise Edition oferece suporte ao Cloud SSO. Por meio do Cloud SSO da Alibaba Cloud, use um IdP (Provedor de Identidade) de terceiros ou próprio para fazer login na Alibaba Cloud e utilizar o DataWorks.

2024.8.8

Todas as regiões

Todos os usuários do DataWorks

DataWorks: Features by edition

Julho

Recurso

Descrição

Data de lançamento

Região

Usuário-alvo

Documentação

Atualização da política de permissões RAM

A política AliyunDataWorksReadOnlyAccess adiciona a permissão dataworks:ListUserResources (para visualizar informações de recursos pertencentes ao usuário).

2024.7.10

Todas as regiões

Todos os usuários do DataWorks

Atualização do recurso de registro de cluster E-MapReduce

Os seguintes recursos foram adicionados ao registro de clusters E-MapReduce no DataWorks:

  • Há suporte para informações personalizadas de conexão Kyuubi para clusters.

  • Há suporte para registro de tipos de cluster EMR Serverless Spark.

2024.7.10

Atualmente, apenas a região China (Zhangjiakou) oferece suporte ao EMR Serverless Spark.

Todos os usuários do DataWorks

Novos nós no Data Studio

O Data Studio adiciona o nó CDH Spark SQL para desenvolver tarefas CDH Spark SQL com agendamento periódico e integração a outros jobs.

2024.7.10

Todas as regiões

Todos os usuários do DataWorks

CDH Spark SQL node

Junho

Recurso

Descrição

Data de lançamento

Região

Usuário-alvo

Documentação

Novo link de sincronização no Data Integration

O Data Integration permite sincronizar dados do MySQL para o StarRocks por meio de sincronização em lote de banco de dados completo ou sincronização em tempo real de banco de dados completo.

2024.06.28

Todas as regiões

Todos os usuários do DataWorks

Suporte a nós Data Push no Data Studio

Os nós Data Push permitem produzir tabelas de dados por meio de tarefas de processamento upstream em um workflow e, em seguida, anexar um nó Data Push downstream para enviar os resultados dos dados upstream para grupos do DingTalk ou Feishu via cartões de mensagem de forma agendada.

Nota

Para usar nós Data Push, abra um ticket para entrar em contato com o suporte técnico e atualizar seu grupo de recursos de agendamento.

2024.6.28

  • China (Hangzhou)

  • China (Shanghai)

  • China (Beijing)

  • China (Shenzhen)

  • China (Chengdu)

  • China (Hong Kong)

  • Singapore

  • Malaysia (Kuala Lumpur)

  • US (Silicon Valley)

  • US (Virginia)

  • Germany (Frankfurt)

Todos os usuários do DataWorks

Configure a data push node

Lançamento do grupo de recursos serverless do DataWorks

Para aprimorar o gerenciamento de recursos em todos os recursos do DataWorks e unificar a experiência do usuário, o DataWorks lança o grupo de recursos serverless que abrange as funcionalidades principais do grupo de recursos exclusivo original para agendamento, grupo de recursos exclusivo para Data Integration e grupo de recursos exclusivo para Data Service. Um único grupo de recursos pode lidar com sincronização de dados, agendamento de tarefas e invocação e gerenciamento de serviços de API.

2024.6.11

  • China (Beijing)

  • China (Shanghai)

  • China (Shenzhen)

  • China (Hangzhou)

  • China (Hong Kong)

  • China (Zhangjiakou)

  • Singapore

  • Malaysia (Kuala Lumpur)

  • Indonesia (Jakarta)

  • Japan (Tokyo)

  • Germany (Frankfurt)

  • UK (London)

  • US (Silicon Valley)

  • US (Virginia)

Todos os usuários do DataWorks

Nova melhor prática: Desenvolvimento de tarefas usando o mecanismo de computação Lindorm

O mecanismo de computação Lindorm é compatível com CDH (Cloudera's Distribution Including Apache Hadoop). Registre um cluster CDH e configure as informações de conexão do mecanismo de computação Lindorm no DataWorks para realizar consultas SQL interativas, desenvolvimento de tarefas SQL e execução de tarefas JAR com base no mecanismo de computação Lindorm.

2024.6.5

Todas as regiões

Todos os usuários do DataWorks

Develop tasks based on LDPS

Nova fonte de dados no Data Integration

O Data Integration adiciona suporte à fonte de dados Azure Blob Storage.

2024.6.3

Todas as regiões

Todos os usuários do DataWorks

Azure Blob Storage data source

Maio

Recurso

Descrição

Data de lançamento

Região

Usuário-alvo

Documentação

Fonte de dados MySQL com suporte a OSS Binlog

A fonte de dados MySQL do Data Integration adiciona suporte ao OSS Binlog.

Ao adicionar uma fonte de dados MySQL, se você definir o Use Data Studio (New Version) como Configuration Mode e sua instância RDS for MySQL estiver na mesma região do seu workspace do DataWorks, ative a opção Read binlogs from OSS. O DataWorks buscará binlogs no OSS caso o acesso direto aos binlogs do RDS for MySQL falhe, evitando interrupções nas tarefas de sincronização em tempo real.

2024.5.24

Todas as regiões

Todos os usuários do DataWorks

MySQL data source

Módulo Data Quality redesenhado

O Data Quality foi redesenhado. Com base no monitoramento de qualidade com regras específicas, ele valida intervalos de dados das tabelas e otimiza o processo de monitoramento da qualidade de dados.

2024.5.21

O novo Data Quality está sendo implementado gradualmente. Para verificar as regiões suportadas, consulte o console. Se os novos recursos do Data Quality não estiverem disponíveis na sua região, consulte a documentação legacy Data Quality.

Todos os usuários do DataWorks

Data Quality

Novo link de sincronização no Data Integration

O Data Integration permite sincronizar dados do Hologres para outras instâncias do Hologres por meio de sincronização em lote de banco de dados completo.

2024.5.20

Todas as regiões

Todos os usuários do DataWorks

Batch synchronization from a full Hologres database to Hologres

Execução remota de scripts em servidores no DataWorks

Os nós SSH do DataWorks podem acessar remotamente o host conectado à fonte de dados SSH especificada e acionar a execução de scripts no host remoto.

2024.5.15

Todas as regiões

Todos os usuários do DataWorks

Novo nó EMR Kyuubi no Data Studio

O nó EMR Kyuubi do DataWorks permite desenvolver tarefas Kyuubi com agendamento periódico e integração a outros jobs.

2024.5.11

Todas as regiões

Todos os usuários do DataWorks

EMR Kyuubi node

Novos nós de múltiplos tipos de banco de dados no Data Studio

O DataWorks Data Studio oferece suporte aos tipos de nó de banco de dados DRDS, PolarDB MySQL, Doris e outros para desenvolvimento de tarefas com agendamento periódico e integração a outros jobs.

2024.5.11

Todas as regiões

Todos os usuários do DataWorks

Abril

Recurso

Descrição

Data de lançamento

Região

Usuário-alvo

Documentação

Configuração de fonte de dados PostgreSQL com autenticação SSL

É possível configurar a autenticação SSL ao adicionar uma fonte de dados PostgreSQL no Data Integration.

2024.4.26

Todas as regiões

Todos os usuários do DataWorks

PostgreSQL data source

Suporte a fonte de dados Hologres no centro de governança de dados

O centro de governança de dados adiciona suporte à fonte de dados Hologres.

Antes de usar uma fonte de dados Hologres no Data Governance Center, colete os metadados do Hologres no Data Map. Para mais informações, consulte Metadata collection.

2024.4.24

As fontes de dados Hologres oferecem suporte ao Data Governance Center apenas nas seguintes regiões: China (Beijing), China (Shanghai), China (Hangzhou) e China (Shenzhen).

Todos os usuários do DataWorks

Overview

Novo recurso de visualização materializada no centro de governança de dados

Se você executa frequentemente tarefas de computação de big data com muitas subconsultas semelhantes, o DataWorks oferece uma solução automatizada e inteligente. O recurso de governança automatizada recomenda visualizações materializadas identificando e classificando automaticamente subconsultas semelhantes no MaxCompute. Em seguida, crie uma visualização materializada com um único clique para melhorar significativamente o desempenho da consulta e reduzir o consumo de recursos.

2024.4.12

Todas as regiões

Todos os usuários do DataWorks

Automated governance of materialized views

Autenticação OPEN LDAP no DataWorks em CDH/CDP

Ao registrar clusters CDH/CDP no DataWorks, há suporte para mapeamento personalizado entre contas da Alibaba Cloud e contas OPEN LDAP do cluster CDH/CDP. Após o mapeamento, as tarefas CDH/CDP enviadas por uma conta da Alibaba Cloud no DataWorks são executadas pela conta OPEN LDAP mapeada. Esse método isola as permissões de acesso a dados para diferentes contas cloud dentro dos clusters CDH.

2024.4.8

China (Beijing), China (Shanghai), China (Hangzhou), China (Shenzhen), China (Zhangjiakou), China (Chengdu)

Todos os usuários do DataWorks

Set up cluster identity mapping

Março

Recurso

Descrição

Data de lançamento

Região

Usuário-alvo

Documentação

Lançamento do novo recurso de backfill de dados

Após desenvolver, enviar e implantar uma tarefa agendada, ela é executada conforme as configurações de agendamento. Para executar uma tarefa agendada em um período específico, utilize o recurso de backfill de dados. O backfill grava dados nas partições de tempo correspondentes preenchendo dados históricos ou futuros. O novo recurso de backfill de dados oferece suporte aos seguintes métodos:

2024.3.28

Todas as regiões

Todos os usuários do DataWorks

Backfill data instance operations

Implantação de Extensions via Function Compute na Open Platform

No DataWorks Extensions, defina lógicas personalizadas de checkpoint para mensagens de evento a fim de supervisionar operações do usuário (por exemplo, interceptar e bloquear comportamentos inadequados). Ao implantar Extensions por meio do Function Compute, mensagens de evento específicas são entregues diretamente ao serviço Function Compute correspondente. Essa abordagem:

  • É simples de operar. Basta uma única função para implantar uma extension.

  • Gera taxas correspondentes do Function Compute. Para detalhes, consulte Function Compute billing.

  • As Extensions implantadas atualmente só oferecem suporte ao processamento de eventos pré-download de dados.

2024.3.19

  • China (Beijing)

  • China (Hangzhou)

  • China (Shanghai)

  • China (Zhangjiakou)

  • China (Shenzhen)

  • China (Chengdu)

  • US (Silicon Valley)

  • US (Virginia)

  • Germany (Frankfurt)

  • Japan (Tokyo)

  • China (Hong Kong)

  • Singapore

Usuários da DataWorks Enterprise Edition

Develop and deploy extensions: Function Compute

Políticas personalizadas de implantação de modelos no Data Modeling

O Data Modeling oferece suporte a políticas personalizadas de implantação de modelos. Após ativar uma política, selecione o modo de implantação correspondente com base na configuração da política ao implantar modelos.

2024.3.12

Todas as regiões

Usuários do DataWorks que adquiriram o produto intelligent Data Modeling

Publishing policy management

Fevereiro

Recurso

Descrição

Data de lançamento

Região

Usuário-alvo

Documentação

Nova introdução ao uso de CDP/CDH no DataWorks

Este tópico descreve o fluxo básico de desenvolvimento, faturamento, preparação de ambiente e controle de acesso para usar CDP/CDH no DataWorks.

2024.2.21

Todas as regiões

Todos os usuários do DataWorks

DataWorks on CDP/CDH

Suporte a fonte de dados StarRocks no modo instância no Data Service

Após ativar um cluster E-MapReduce Serverless StarRocks, adicione uma fonte de dados StarRocks no modo instância no DataWorks. O DataWorks Data Service permite criar rapidamente APIs de dados para fontes de dados StarRocks, possibilitando o compartilhamento e a abertura de dados.

2024.2.20

Todas as regiões

Todos os usuários do DataWorks

Configure a data source for Data Service

Busca de código para desenvolvimento de dados no Data Map

O DataWorks Data Map adiciona um recurso de busca de código para desenvolvimento de dados, com suporte a busca global de código entre workspaces. Localize precisamente o código-alvo por palavra-chave, melhorando a eficiência do desenvolvimento e reduzindo redundâncias no projeto.

2024.2.20

Todas as regiões

Usuários da DataWorks Standard Edition e superior

Metadata retrieval

Novo recurso de Upload e Download de Dados

O DataWorks Data Upload & Download permite carregar arquivos CSV locais e dados de arquivos do OSS para o MaxCompute para processamento e análise. Ele também gerencia a lista de arquivos carregados e arquivos baixados do DataWorks Data Analysis e outros módulos, facilitando o gerenciamento e as operações de dados.

2024.2.20

Todas as regiões

Todos os usuários do DataWorks

Novos nós de cluster CDH no Data Studio

Desenvolva e agende periodicamente tarefas relacionadas a CDH, como Hive, Spark, MR, Presto, Impala e outras no DataWorks.

2024.2.19

Todas as regiões

Todos os usuários do DataWorks

Nova página de configuração do sistema no Data Security Guard

Por meio da configuração do sistema, você pode:

  • Definir o conteúdo e o escopo de identificação para o Data Security Guard.

  • Definir o período de retenção de arquivos de marca d'água.

  • Definir se o nível de segurança de dados deve ser exibido na identificação de riscos.

  • Definir o e-mail e o endereço WebHook para receber notificações de alerta.

Isso ajuda a identificar e tratar prontamente possíveis riscos de segurança.

2024.2.6

Todas as regiões

Todos os usuários do DataWorks

System configuration

Janeiro

Recurso

Descrição

Data de lançamento

Região

Usuário-alvo

Documentação

Exibição mascarada de resultados de consulta no Data Studio e Data Analysis

O Data Security Guard oferece suporte a classificação de dados, identificação de dados sensíveis e exibição mascarada de dados para tabelas do E-MapReduce.

Ao executar instruções SQL para consultar dados no Data Studio e Data Analysis, se os dados forem identificados como sensíveis, a plataforma os mascara com ofuscação, criptografia ou outros padrões conforme as regras de mascaramento, aprimorando o gerenciamento de segurança de dados corporativos.

2024.1.25

Todas as regiões

Todos os usuários do DataWorks

Exibição de linhagem de dados de links de sincronização em tempo real no Data Map

O Data Map adiciona análise e exibição de linhagem de dados para os seguintes links de sincronização em tempo real:

  • Gravação em tempo real do MySQL para MaxCompute/Hologres

  • Gravação em tempo real do Kafka para MaxCompute/Hologres

  • Gravação em tempo real do LogHub para MaxCompute/Hologres

  • Gravação em tempo real do PolarDB para MaxCompute

A análise combinada da linhagem de sincronização em tempo real e da linhagem de sincronização em lote ajuda a compreender de forma mais abrangente o fluxo de dados.

2024.1.15

Todas as regiões

Todos os usuários do DataWorks

Data lineage analysis

2023

Dezembro

Recurso

Descrição

Data de lançamento

Região

Público-alvo

Documentação

Associação de fontes de dados no Data Studio (DataStudio)

Para realizar modelagem de dados, desenvolvimento de dados ou usar o Operation Center para agendamento periódico de tarefas no DataWorks, é necessário primeiro associar as fontes de dados ou clusters criados ao Data Studio (DataStudio). Após a associação, você pode ler dados das fontes ou clusters e executar operações de desenvolvimento relacionadas.

29/12/2023

Todas as regiões

Todos os usuários do DataWorks

Preparations before data development: Associate a data source or a cluster with DataStudio

Lançamento de recursos de computação

Para oferecer uma experiência de produto mais unificada, o DataWorks consolida os mecanismos de computação MaxCompute, Hologres, AnalyticDB for PostgreSQL, AnalyticDB for MySQL e ClickHouse em recursos de computação, e integra os mecanismos E-MapReduce (EMR) e CDH/CDP no gerenciamento de clusters open-source. Após essa consolidação, as operações nos mecanismos originais (como criação e edição) passam a ser realizadas pelas interfaces de recursos de computação ou de clusters open-source.

29/12/2023

Todas as regiões

Todos os usuários do DataWorks

Novos eventos de ponto de extensão

  • DeleteProject: evento prévio à exclusão de um projeto.

  • ProjectDeleted: evento posterior à exclusão de um projeto.

  • DownloadResources: evento de download de dados.

27/12/2023

Todas as regiões

Todos os usuários do DataWorks

Novo escopo para pontos de extensão

Os eventos de ponto de extensão adicionam escopos:

  • Nível de tenant: eventos neste nível aplicam-se a todo o tenant.

  • Nível de workspace: eventos neste nível aplicam-se apenas ao workspace de destino.

Ao registrar uma extensão, selecione eventos de ponto de extensão de apenas um tipo.

22/12/2023

  • China (Beijing)

  • China (Hangzhou)

  • China (Shanghai)

  • China (Zhangjiakou)

  • China (Shenzhen)

  • China (Chengdu)

  • US (Silicon Valley)

  • US (Virginia)

  • Germany (Frankfurt)

  • Japan (Tokyo)

  • China (Hong Kong)

  • Singapore

Todos os usuários do DataWorks

Centro de governança de dados adiciona itens de verificação de eficiência de SQL

O centro de governança de dados inclui 5 novos itens de verificação para ODPS, Hive e Spark SQL, cobrindo produtos cartesianos, JOINs inválidos de tabela completa e varreduras por força bruta. Esses itens permitem verificações prévias proativas e otimizações rápidas durante o desenvolvimento, melhorando a eficiência de computação, evitando desperdício significativo de recursos e garantindo a entrega pontual dos dados.

22/12/2023

Todas as regiões

Todos os usuários do DataWorks

Configure check items

Nova adaptação para fonte de dados StarRocks

O DataWorks oferece suporte completo à fonte de dados StarRocks:

  • Data Integration: permite sincronizar dados do StarRocks.

  • Data Studio: possibilita a criação de tarefas StarRocks com agendamento periódico.

  • Data Analysis: suporta consulta e análise de dados no StarRocks.

  • Data Service: viabiliza a criação de APIs a partir de tabelas de dados do StarRocks.

  • Data Map: oferece gerenciamento de metadados do StarRocks com recursos de busca e visualização.

15/12/2023

Todas as regiões

Todos os usuários do DataWorks

Novas adaptações para versões de clusters Hadoop do E-MapReduce

O DataWorks adicionou suporte a mais de dez versões de clusters Hadoop do E-MapReduce, incluindo:

  • EMR-3.26.3

  • EMR-3.27.2

  • EMR-3.29.0

  • EMR-3.32.0

  • EMR-3.35.0

  • EMR-3.38.2

  • EMR-3.38.3

  • EMR-4.3.0

  • EMR-4.4.1

  • EMR-4.5.0

  • EMR-4.5.1

  • EMR-4.6.0

  • EMR-4.8.0

  • EMR-4.9.0

  • EMR-5.2.1

  • EMR-5.4.3

  • EMR-5.6.0

15/12/2023

Todas as regiões

Todos os usuários do DataWorks

EMR development guidelines

Novos objetos de verificação no nó Check do Data Studio

Os nós Check verificam se os objetos de destino (tabelas particionadas do MaxCompute, arquivos FTP ou arquivos do OSS) estão disponíveis. Quando a política de verificação é atendida, o nó Check retorna status de sucesso.

Se uma tarefa depender de um objeto de destino, utilize um nó Check para validar esse objeto e configure a tarefa como downstream do nó. Assim que a política for satisfeita, o nó Check terá êxito e acionará a tarefa downstream.

08/12/2023

Todas as regiões

Todos os usuários do DataWorks

Check node

Data Studio adiciona nó PAI DLC

Utilize nós PAI DLC para agendar e executar periodicamente tarefas do PAI DLC.

08/12/2023

Todas as regiões

Todos os usuários do DataWorks

Create and use a PAI DLC node

Security Center adiciona regras de identificação de riscos em tempo real

O Security Center permite que administradores registrem capacidades de identificação de riscos como Extensions no DataWorks, funcionando como regras para detectar riscos em comportamentos operacionais.

Atualmente, Extensions predefinidas ou personalizadas suportam a identificação de riscos em operações de download de dados, com opções para solicitar aprovação ou bloquear o download conforme necessário.

08/12/2023

Todas as regiões

Todos os usuários do DataWorks

Fraud Detection rules

Novembro

Recurso

Descrição

Data de lançamento

Região

Público-alvo

Documentação

Data Studio (DataStudio) adiciona nó Check

O nó Check do DataWorks verifica se uma tabela particionada do MaxCompute está disponível (ou seja, se a partição de destino existe ou se a gravação dos dados foi concluída). Quando uma tarefa downstream depende dessa tabela, utilize este recurso para confirmar a disponibilidade dos dados antes de prosseguir, evitando operações sobre dados incorretos.

20/11/2023

  • China (Chengdu)

  • China (Zhangjiakou)

  • China (Beijing)

  • China (Shanghai)

  • Malaysia (Kuala Lumpur)

Todos os usuários do DataWorks

Check node

Agosto

Recurso

Descrição

Data de lançamento

Região

Público-alvo

Documentação

DataWorks suporta agendamentos personalizados

Além dos tipos de agendamento existentes, foi adicionado um calendário de agendamento. Essa funcionalidade permite marcar dias de execução ou dias sem execução no calendário para definir ciclos de agendamento personalizados.

24/08/2023

Todas as regiões

Usuários da DataWorks Enterprise Edition

Configure scheduling calendars

Centro de governança de dados suporta governança de desenvolvimento de data lake do E-MapReduce

O centro de governança de dados do DataWorks agora inclui análises proativas de governança baseadas no pipeline de desenvolvimento de data lake composto por cluster E-MapReduce + DLF + DataWorks, abrangendo:

  • Avaliação da pontuação de integridade da governança.

  • Detecção automática de problemas nas dimensões de governança de desenvolvimento e armazenamento.

  • Prevenção de problemas por meio de verificações prévias baseadas em Hive SQL e Spark SQL.

24/08/2023

  • China North 2 Ali Gov 1

  • China East 2 Finance

  • China (Shanghai)

  • China (Hangzhou)

  • China (Beijing)

  • China (Shenzhen)

  • China (Chengdu)

  • China (Hong Kong)

  • Singapore

  • US (Silicon Valley)

  • Germany (Frankfurt)

  • Indonesia (Jakarta)

Usuários da DataWorks Enterprise Edition ou superior

Overview

Junho

Recurso

Descrição

Data de lançamento

Região

Público-alvo

Documentação

Sincronização em tempo real de source de dados Kafka para Hologres com ETL

  • A sincronização em tempo real do Kafka para o Hologres agora suporta análise semântica de JSON e outros processamentos básicos de dados durante a transferência, implementando um pipeline de ETL dentro da própria sincronização em tempo real.

  • Permite extrair chaves e valores de caminhos JSON específicos, além de expandir dinamicamente chaves e valores, sendo ideal para cenários em que os formatos das mensagens de source do Kafka mudam frequentemente.

  • Oferece execuções simuladas durante a configuração da tarefa para validar a correção do processamento de dados antes da gravação dos resultados.

01/06/2023

Todas as regiões

Todos os usuários do DataWorks

Kafka data source

Sincronização completa de banco de dados em tempo real do MySQL para data lake OSS no formato Hudi

Realize a sincronização completa de bancos de dados em tempo real do MySQL para o data lake OSS, gravando os dados no formato Hudi.

  • Integra-se automaticamente ao Alibaba Cloud DLF para gerenciamento de metadados.

  • Suporta sincronização no nível de instância, permitindo selecionar simultaneamente vários bancos de dados do MySQL de origem.

  • Possibilita a seleção de bancos de dados e tabelas do MySQL de origem usando expressões regulares.

  • Inclui adição automática de bancos de dados e tabelas, onde novos bancos ou tabelas adicionados à source de dados MySQL são sincronizados automaticamente com o OSS sem intervenção manual.

01/06/2023

Todas as regiões

Todos os usuários do DataWorks

OSS

Data Integration suporta source de dados AWS RDS

O AWS RDS é configurado como uma source de dados MySQL. Todas as capacidades disponíveis para a source de dados MySQL também se aplicam ao AWS RDS.

01/06/2023

Todas as regiões

Todos os usuários do DataWorks

MySQL data source

Abril

Recurso

Descrição

Data de lançamento

Região

Público-alvo

Documentação

Salvar resultados da Análise de Dados diretamente como tabelas do MaxCompute

Os resultados da Análise de Dados podem ser salvos diretamente como tabelas do MaxCompute sem a necessidade de criar tabelas via código, facilitando consultas posteriores ou análises combinadas.

20/04/2023

Todas as regiões

Todos os usuários do DataWorks

SQL query (legacy)

Análise de Dados suporta download de até milhões de resultados de consulta

O limite padrão de download para consultas SQL na Análise de Dados é de 10.000 linhas. Para as edições Standard, Professional, Enterprise e Flagship do DataWorks, os administradores podem definir o limite máximo de download no Security Center: Standard (200.000), Professional (2.000.000), Enterprise (5.000.000) e Flagship (5.000.000). Também é possível desativar o recurso de download.

18/04/2023

Todas as regiões

Todos os usuários do DataWorks

SQL query (legacy)

Conjuntos de dados públicos de big data lançados

Utilizando conjuntos de dados públicos de IA e big data (Taobao, Fliggy, Ali Music, GitHub, TPC, etc.), você pode realizar rapidamente análises de big data na escala de TB por meio do DataWorks e MaxCompute.

11/04/2023

Todas as regiões

Todos os usuários do DataWorks

SQL query (legacy)

Março

Recurso

Descrição

Data de lançamento

Região

Público-alvo

Documentação

Centro de governança de dados suporta gerenciamento de problemas de governança baseado em notificações

Administradores e usuários individuais podem enviar problemas diários de governança pendentes da estação de trabalho de governança como notificações via alertas do sistema, e-mails, grupos do DingTalk e Webhooks para destinatários específicos. Isso permite que os responsáveis acompanhem prontamente o progresso e acessem rapidamente o sistema para resolver os problemas.

15/03/2023

Todas as regiões

Todos os usuários do DataWorks

Configure a periodic notification for governance issues

Centro de governança de dados adiciona item de governança de ciclo de vida longo de armazenamento

O item de governança de ciclo de vida longo de armazenamento ajuda a definir ciclos de vida adequados para tabelas particionadas do MaxCompute, reduzindo o desperdício de recursos de armazenamento.

15/03/2023

Todas as regiões

Todos os usuários do DataWorks

Handle governance issues

Service de aceleração do Data Service comercializado

O service de aceleração gera services de API online para sources de dados do MaxCompute, oferecendo alto desempenho e eficiência de consulta para demandas de consulta online, sem a necessidade de exportar dados do MaxCompute.

01/03/2023

China (Shanghai), China (Beijing), China (Hangzhou) e China (Shenzhen).

Todos os usuários do DataWorks

Acceleration service

Janeiro

Recurso

Descrição

Data de lançamento

Região

Público-alvo

Documentação

DataWorks adiciona gerenciamento de recursos adquiridos

As seguintes funcionalidades foram adicionadas:

O DataWorks exibe todos os produtos atualmente adquiridos e não liberados, permitindo que você faça upgrade, downgrade, solicite reembolso ou renove assinaturas rapidamente.

11/01/2023

Todas as regiões

Todos os usuários do DataWorks

Overview

Centro de governança de dados do DataWorks adiciona remoção segura em lote de tarefas

As seguintes funcionalidades foram adicionadas:

  • Oferece planos especiais de governança baseados em cenários, focados principalmente na remoção segura em lote de tarefas inválidas ou duplicadas.

  • Disponibiliza o plano de governança ApsaraDB for RDS. Os responsáveis pela governança podem confirmar rapidamente as pessoas e os ativos afetados ao selecionar os alvos da governança.

  • Proporciona execução passo a passo para conclusão colaborativa de pausa, atraso, remoção de nós e notificações de status de estágio, garantindo uma remoção de tarefas ordenada e tranquila.

09/01/2023

Todas as regiões

Todos os usuários do DataWorks

Graceful shutdown

Modo básico do DataStudio suporta revisão de código

As seguintes funcionalidades foram adicionadas:

O modo básico agora suporta revisão de código. Após ativar a revisão obrigatória de código, as tarefas de nó só entram em vigor no ambiente de produção depois que a revisão for aprovada.

05/01/2023

Todas as regiões

Todos os usuários do DataWorks

Code review

2022

Novembro

Recurso

Descrição

Data de lançamento

Região

Público-alvo

Documentação

O DataWorks Data Service agora permite criar APIs para fontes de dados dos ambientes de desenvolvimento e produção

Em workspaces no modo padrão, o DataWorks adiciona os seguintes recursos:

  • Permite definir parâmetros avançados de API com base no tipo de ambiente da fonte de dados selecionada (desenvolvimento ou produção).

  • Possibilita testes com bancos de dados do ambiente de desenvolvimento e a implantação de APIs com bancos de dados do ambiente de produção.

29/11/2022

Todas as regiões

Todos os usuários do DataWorks

Create an API from a data source (API Gateway)

O DataWorks Data Map passa a suportar solicitações de permissão para tabelas Hive

A página Data analysis > SQL Query do DataWorks recebeu o botão Shutdown, que direciona ao Security Center para solicitar permissões de tabela.

29/11/2022

Todas as regiões

Todos os usuários do DataWorks

Hive tables supporting data preview

Novo recurso de Coleta de Dados disponível no DataWorks Data Map

O Data Map do DataWorks ganhou a página EMR Hive Table Details, que oferece as seguintes funcionalidades:

  • Classificação, categorização, organização e gerenciamento de tabelas de dados sob uma perspectiva de negócios.

  • Adição de tabelas frequentes, da equipe ou populares a coleções específicas, facilitando a busca e a recuperação rápida.

16/11/2022

Todas as regiões

Todos os usuários do DataWorks

Data albums

Atualização do DataWorks Data Analysis com nova experiência de consulta SQL

O DataWorks Data Analysis inclui agora os seguintes recursos:

  • Gerenciamento unificado de todos os arquivos SQL pessoais e coleções de tabelas de dados usadas frequentemente para recuperação de dados.

  • Extração de dados de negócios por meio de instruções SQL para usuários autorizados.

  • Processamento secundário e exibição em gráficos visuais dos resultados de consultas SQL.

15/11/2022

Todas as regiões

Todos os usuários do DataWorks

SQL query (legacy)

O DataWorks Data Service suporta análise de parâmetros de requisição e resposta em SQL avançado

No Data Service, foi adicionado o seguinte recurso:

  • Ao criar uma API pelo modo de script avançado, é possível analisar parâmetros com um clique nos painéis Requested Permissions e Data Map, localizados no painel de navegação à direita.

  • Reduz o trabalho manual de inserção de parâmetros.

10/11/2022

Todas as regiões

Todos os usuários do DataWorks

N/A

Outubro

Recurso

Descrição

Data de lançamento

Região

Público-alvo

Documentação

Modelagem Inteligente de Dados do DataWorks suporta E-MapReduce Hive com capacidades equivalentes às do MaxCompute

O módulo Data Album > Request Parameters do DataWorks recebeu dois novos recursos:

  • Implantação de modelos no E-MapReduce Hive com geração automática do código de framework ETL correspondente.

  • Engenharia reversa de tabelas físicas existentes do E-MapReduce Hive para modelos.

25/11/2022

Todas as regiões

Todos os usuários do DataWorks

Modelagem Inteligente de Dados do DataWorks passa a gerenciar versões de modelos

O módulo Response Parameters > Data Modeling do DataWorks recebeu dois novos recursos:

  • Gerenciamento de versões de modelos. Apenas modelos enviados formalmente podem ser implantados.

  • Comparação e reversão entre diferentes versões do mesmo modelo.

25/11/2022

Todas as regiões

Todos os usuários do DataWorks

Materialize a logical model

Página de detalhes da API no DataWorks Data Service exibe endereços de chamada para cada domínio

A página de detalhes da API mostra os endereços de chamada gerados para a API atual com base em domínio público, domínio VPC e domínio independente. Isso permite usar diferentes domínios de forma flexível nas chamadas de API.

21/10/2022

Todas as regiões

Todos os usuários do DataWorks

View the details of an API

Diagrama de linhagem do DataWorks Data Map totalmente atualizado

As novas informações de linhagem de dados oferecem uma experiência aprimorada de análise. Na página de detalhes da linhagem, é possível:

  • Visualizar nós upstream e downstream de uma tabela ou coluna de tabela.

  • Identificar a fonte de dados original e o destino final dos dados de uma tabela.

  • Executar análises de impacto na linhagem em diferentes níveis.

21/10/2022

Todas as regiões

Todos os usuários do DataWorks

View the details of a table

Centro de governança de dados do DataWorks adiciona 4 itens de verificação na dimensão de desenvolvimento

O centro de governança de dados do DataWorks recebeu 4 novos itens de verificação:

  • Consistência do tipo de condição JOIN.

  • Proibição de uso de determinados ativos.

  • Uso de UDF com nomes duplicados.

  • Restrições de escrita no ambiente de desenvolvimento.

Os principais recursos incluem:

  • Capacidades de gerenciamento e verificação.

    É possível ativar e configurar os novos itens de verificação no gerenciamento de configurações, além de visualizar detalhes de uso da base de conhecimento de governança.

  • Governança proativa de dados de desenvolvimento durante o envio e a implantação de tarefas no desenvolvimento de dados.

20/10/2022

Todas as regiões

Todos os usuários do DataWorks

Configure check items

Modo básico do DataStudio passa a suportar revisão de código

Quando a revisão obrigatória de código está ativada no modo básico, o código só entra em vigor no ambiente de produção após a conclusão da revisão.

22/09/2022

Todas as regiões

Todos os usuários do DataWorks

Code review

Agosto

Recurso

Descrição

Data de lançamento

Região

Público-alvo

Documentação

Operation Center adiciona gerenciamento de tarefas baseado em workflows

O Operation Center do DataWorks permite visualizar o status de execução de tarefas sob a perspectiva do workflow e executar operações como reexecução, congelamento e encerramento.

22/08/2022

Todas as regiões

Todos os usuários do DataWorks

Auto triggered instances

Data Service adiciona consulta acelerada para fonte de dados MaxCompute

O DataWorks Data Service suporta a geração de APIs online para fontes de dados MaxCompute. Sem precisar exportar os dados do MaxCompute, o serviço oferece alta performance e eficiência em consultas para atender a requisitos online. As opções de aceleração incluem:

  • Serviço de aceleração baseado em tabelas externas do Hologres.

  • Serviço de aceleração baseado em MCQA.

17/08/2022

China (Shanghai), China (Shenzhen)

Todos os usuários do DataWorks

Acceleration service

Data Service adiciona diagnósticos inteligentes e análise de cadeia de chamadas

O DataWorks Data Service analisa logs de chamadas de API. Com esse recurso, você examina a cadeia de chamadas de requisições individuais, detecta rapidamente requisições anômalas e identifica problemas com agilidade por meio de resultados de diagnóstico e recomendações.

07/08/2022

Todas as regiões

Usuários do DataWorks

View and analyze API call logs (public preview)

Data Map adiciona controle de permissões granular nos níveis de projeto e tabela

O DataWorks Data Map oferece diversos níveis de granularidade no controle de permissões de metadados por meio de configurações variadas, incluindo:

  • Definição se outros membros do projeto podem visualizar os metadados do projeto atual no Data Map.

  • Definição se pessoas fora do projeto, não proprietárias da tabela e não administradoras do workspace podem visualizar metadados de tabelas no Data Map.

05/08/2022

Todas as regiões

Usuários do DataWorks

Data Map permission management

Data Integration suporta sincronização em lote via modo assistente para DM Database

O DataWorks Data Integration permite usar o modo assistente visual para sincronização em lote de dados do DM Database, tornando a operação mais simples em comparação ao modo de script.

02/08/2022

Todas as regiões

Usuários do DataWorks

Codeless UI configuration

Julho

Recurso

Descrição

Data de lançamento

Região

Público-alvo

Documentação

Modelagem Inteligente de Dados do DataWorks suporta modelagem dimensional

A Modelagem Inteligente de Dados do DataWorks oferece os seguintes recursos:

  • Referência direta de colunas e informações de partição de tabelas ou views existentes no Hologres durante o design do modelo, para uso como colunas do modelo atual.

  • Preenchimento com um clique para colunas sem nomes de exibição ou descrições durante o design do modelo.

    Na maioria dos casos, tabelas físicas já possuem descrições de colunas. Se faltarem nomes de exibição, este recurso complementa essas informações rapidamente, aumentando a eficiência da modelagem.

  • Criação de novos nós do DataStudio ou associação de nós existentes durante o desenvolvimento do modelo, melhorando a eficiência do desenvolvimento ETL.

29/07/2022

China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen), China (Chengdu), China (Hong Kong), Singapore, China East 2 Finance, China South 1 Finance, China North 2 Ali Gov 1, Germany (Frankfurt), US (Silicon Valley)

Todos os usuários do DataWorks

Modelagem Inteligente de Dados do DataWorks permite visualizar informações de tabelas associadas

Ao abrir a página de edição de uma métrica derivada ou atômica, é possível visualizar o nome da tabela e da coluna do modelo associado no painel de navegação à direita, com navegação direta para a página de edição da tabela alvo para gerenciar associações.

29/07/2022

Todos os usuários do DataWorks

Derived metrics

Modelagem Inteligente de Dados suporta configuração de verificadores de regras de nomenclatura para modelos e métricas

No planejamento de data warehouse, dentro do nivelamento do data warehouse, é possível configurar verificadores de nomenclatura para tipos de modelos ou métricas. Durante o design, o verificador valida os nomes das entidades para melhorar a padronização da nomenclatura em todo o processo de desenvolvimento.

Regras de nomenclatura:

  • Força da regra: Uma regra forte indica preenchimento recomendado e verificações obrigatórias nos nomes, enquanto uma regra fraca indica apenas preenchimento recomendado.

  • Definição da regra: A ordem de organização e a composição dos nomes são definidas com base em múltiplos elementos.

29/07/2022

Todos os usuários do DataWorks

Data warehouse layering

DataWorks Data Analysis suporta configuração de grupos de recursos exclusivos

A conta principal pode configurar o Data Analysis nas configurações do sistema. É possível executar consultas SQL em um grupo de recursos exclusivo especificado.

29/07/2022

China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen), China (Chengdu), Germany (Frankfurt)

Todos os usuários do DataWorks

System management

Inteligência do Data Integration no DataStudio

Suporte a banco de dados Postgres. A autenticação SSL suporta modo de arquivo duplo com arquivos .crt e .key.

26/07/2022

China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen), China (Chengdu), China (Hong Kong), Japan (Tokyo), Singapore, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Germany (Frankfurt), UK (London), US (Silicon Valley), US (Virginia), UAE (Dubai)

Todos os usuários do DataWorks

Data Integration

DataWorks suporta o novo data lake DataLake do EMR

O DataWorks suporta o novo data lake DataLake baseado no mecanismo de computação EMR, habilitando integração de dados, modelagem, desenvolvimento e agendamento, qualidade de dados, mapa de dados, segurança, análise de dados (com grupos de recursos exclusivos), serviço de dados e outras capacidades completas do ciclo de vida de dados baseadas no mecanismo EMR.

08/07/2022

China (Chengdu), China (Zhangjiakou), China (Shenzhen), US (Silicon Valley), China (Beijing), China (Shanghai), Japan (Tokyo), Germany (Frankfurt), US (Virginia), Indonesia (Jakarta), UK (London), China (Hangzhou), Singapore, China (Hong Kong), Malaysia (Kuala Lumpur), UAE (Dubai)

Todos os usuários do DataWorks

EMR development guidelines

Editor inteligente do DataStudio suporta inserção visual de colunas e verificação de permissões de tabela

  • O editor inteligente identifica automaticamente as partes de consulta de colunas no código. Passe o mouse sobre o nome da tabela, selecione as colunas desejadas e clique em confirmar. Os nomes das colunas serão inseridos automaticamente no código.

  • O editor inteligente oferece verificação de permissões de tabela. Solicite permissões diretamente com base nos avisos exibidos.

02/07/2022

China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen), China (Chengdu), China (Hong Kong)

Todos os usuários do DataWorks

DataStudio (legacy)

Junho

Recurso

Descrição

Data de lançamento

Região

Público-alvo

Documentação

Disponibilidade geral do centro de governança de dados

Os recursos do centro de governança de dados incluem:

  • Avaliação quantitativa da saúde da governança em cinco dimensões: armazenamento, computação, desenvolvimento, qualidade e segurança, com descoberta e prevenção automáticas de diversos problemas de governança de dados.

  • Detalhamento do consumo de recursos por tarefa, tendências de consumo, estimativa de custo por tarefa individual e outros recursos ricos para ajudar na otimização e no controle eficaz de custos de recursos.

Nota
  • O centro de governança de dados ficou disponível em 5 de julho de 2022, com um período de teste limitado de um mês.

  • Após 5 de agosto de 2022, todas as capacidades estão disponíveis no DataWorks Enterprise Edition.

27/06/2022

China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), China (Chengdu), Singapore, US (Silicon Valley)

Todos os usuários do DataWorks

Overview

Centro de governança de dados suporta o recurso Task 360

O recurso panorâmico Task 360 exibe centralmente informações-chave associadas a uma tarefa, incluindo problemas de itens de governança, registros de eventos de alteração, linhas de base afetadas e informações de execução, permitindo realizar a governança de tarefas de agendamento com base nesses dados.

24/06/2022

China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), China (Chengdu), Singapore, US (Silicon Valley)

Todos os usuários do DataWorks

Task 360 overview

Modelagem Inteligente de Dados suporta busca e criação de views

  • Referência direta de colunas e informações de partição de views existentes como colunas para o modelo atual durante o design.

  • Materialização de modelos concluídos como views.

22/06/2022

China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen), China (Chengdu), China (Hong Kong), Singapore, US (Silicon Valley), Germany (Frankfurt), China East 2 Finance, China South 1 Finance, China North 2 Ali Gov 1

Todos os usuários do DataWorks

Materialize a logical model

Modelagem Inteligente de Dados suporta engenharia reversa de modelos por palavras-chave de nome de tabela

Durante a modelagem reversa, utilize correspondência aproximada por palavras-chave do nome da tabela para realizar engenharia reversa de modelos lógicos.

19/06/2022

China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen), China (Chengdu), China (Hong Kong), Singapore, US (Silicon Valley), Germany (Frankfurt), China East 2 Finance, China South 1 Finance, China North 2 Ali Gov 1

Todos os usuários do DataWorks

Reverse modeling: Create models from physical tables

Centro de aprovação suporta gerenciamento do Data Integration

Para proteger a segurança da transferência de dados, o centro de aprovação fornece gatilhos de aprovação baseados em combinações origem-destino ao salvar ou executar tarefas do Data Integration, permitindo um gerenciamento mais flexível dos processos de sincronização de dados.

15/06/2022

China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen), China (Chengdu), China (Hong Kong), Singapore, Indonesia (Jakarta), Malaysia (Kuala Lumpur), US (Silicon Valley), US (Virginia), Germany (Frankfurt).

Todos os usuários do DataWorks

Request processing policies for Data Integration tasks

Data Security Guard adiciona visualização de linhagem de dados sensíveis

O recurso de visualização de linhagem de dados sensíveis inclui:

  • Com base nas informações de produção de dados, as relações de linhagem entre colunas sensíveis são analisadas, e os resultados de identificação são propagados entre relações de linhagem com o mesmo tipo de coluna sensível, melhorando significativamente a eficiência da identificação.

  • As relações de linhagem podem ser desenhadas automaticamente como diagramas de visualização de linhagem de dados sensíveis para entender claramente as origens e destinos dos dados.

Nota

Este recurso está disponível apenas para o DataWorks Enterprise Edition.

14/06/2022

China (Hangzhou), China (Shanghai)

Todos os usuários do DataWorks

Data lineage (public preview)

Data Security Guard adiciona análise de relações de linhagem anômalas

O recurso de análise de relações de linhagem anômalas inclui:

  • O sistema analisa automaticamente associações anômalas entre colunas com base nas relações de linhagem de colunas sensíveis, evitando a contornar a identificação de dados sensíveis e a auditoria de uso por meio de concatenação e divisão de caracteres.

  • Ajuda a identificar colunas que possuem relações de linhagem com colunas de consulta, mas apresentam resultados inconsistentes na identificação do tipo de coluna sensível.

14/06/2022

China (Hangzhou), China (Shanghai)

Todos os usuários do DataWorks

Data lineage (public preview)

Maio

Recurso

Descrição

Data de lançamento

Região

Público-alvo

Documentação

Redesign da identificação de riscos no Data Security Guard (migração necessária para usuários existentes)

O novo recurso de identificação de riscos oferece cenários integrados, suporta identificação multidimensional combinando classificação de dados, métodos de operação e permissões de pessoal, adiciona agregação de eventos de alerta para reduzir falsos positivos, suporta gerenciamento de riscos em granularidade alta, média e baixa, e fornece insights abrangentes sobre diversos riscos de dados corporativos.

Nota
  • O gerenciamento de identificação de riscos requer o DataWorks Professional Edition ou superior.

  • O recurso legado de gerenciamento de identificação de riscos foi mantido até 30 de junho de 2022. Após essa data, as regras de identificação de riscos criadas e os dados de risco relacionados foram limpos automaticamente, restando apenas o novo recurso de gerenciamento de identificação de riscos. Exporte e faça backup de quaisquer regras e dados de risco necessários em tempo hábil.

  • Usuários existentes devem migrar para a nova versão para utilizar os novos recursos.

16/05/2022

China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen), China (Chengdu), China (Hong Kong)

Todos os usuários do DataWorks.

Risk identification management

Abril

Recurso

Descrição

Data de lançamento

Região

Público-alvo

Documentação

DataStudio aprimora capacidades de gerenciamento de arquivos para desenvolvimento de dados

  • Clique diretamente em Dimensional Modeling, e o sistema recomendará tipos de nós usados recentemente, eliminando a necessidade de buscar manualmente o tipo desejado.

  • Adicionado o recurso Data Modeling. Nós usados frequentemente podem ser favoritados para edição rápida ou colaborativa.

  • A árvore de diretórios à esquerda foi otimizada. Tarefas não enviadas exibem diretamente os botões de ícone Dimensional Modeling e Create Node para implantação rápida da tarefa.

07/04/2022

China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen), China (Chengdu), China (Hong Kong)

Todos os usuários do DataWorks.

DataStudio feature guide

Data Quality adiciona gerenciamento em lote de regras de qualidade globais

Uma lista de regras de qualidade foi adicionada com os seguintes recursos:

  • Exibe regras globais do Data Quality configuradas no workspace atual, suportando ativação/desativação em lote, assinatura, associação de agendamento e configurações de regras fortes/fracas.

  • Em combinação com as capacidades existentes de regras My Favorites, as regras de qualidade podem ser criadas e gerenciadas em lote para governar diversos problemas de qualidade de dados corporativos.

11/04/2022

China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen), China (Chengdu), China (Hong Kong)

Todos os usuários do DataWorks.

Data quality rule configuration

Linha de base inteligente do Operation Center suporta configurações de gerenciamento de alertas mais flexíveis

Após a atualização da linha de base inteligente, os recursos incluem:

  • Gerenciamento unificado de instâncias de linha de base, eventos e linhas de base.

  • Configuração individual de regras de alerta por SMS, e-mail e telefone para cada linha de base, com associação direta de escalas de plantão para evitar operações complexas causadas por mudanças frequentes de responsáveis.

26/04/2022

China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen), China (Chengdu), China (Hong Kong)

Todos os usuários do DataWorks.

Overview

Março

Recurso

Descrição

Data de lançamento

Região

Público-alvo

Documentação

Deployment Center suporta implantação entre workspaces com gerenciamento aprimorado

O Deployment Center permite implantar tarefas, recursos e funções de um workspace para outro, resolvendo o problema de implantação de tarefas em múltiplos workspaces.

02/03/2022

Todas as regiões

Usuários dos setores financeiro e governamental com fortes requisitos de gerenciamento de implantação.

Cross-workspace deployment

Registros de operação do Data Analysis integrados à auditoria de segurança

No DataWorks Data Analysis, os seguintes registros de operação foram integrados à auditoria de segurança:

  • Execução de instruções SQL do MaxCompute.

  • Download de resultados de execução SQL.

  • Download de planilhas.

20/03/2022

Todas as regiões

Todos os usuários do DataWorks.

Otimização do ranking de governança no centro de governança de dados

A otimização do ranking de governança no centro de governança de dados adiciona os seguintes recursos:

  • Filtragem de itens de governança por função.

  • Ordenação de Commit e Deploy por diferentes dimensões.

  • Exibição do ranking de governança para todos os membros do workspace.

  • Visualização de detalhes da lista de problemas de governança.

  • Visualização de tendências históricas de consumo de recursos e detalhes de consumo do MaxCompute.

21/03/2022

Todas as regiões

Usuários do centro de governança de dados participantes da prévia.

View governance results

Otimização de desempenho na configuração de tarefas do Data Integration

Ao usar grupos de recursos exclusivos do Data Integration para executar tarefas Configure by Template e Issues, cada tarefa pode selecionar mais de 1.000 tabelas para uma sincronização mais eficiente.

25/03/2022

Todas as regiões

Plataformas SaaS, setor financeiro e outros usuários que precisam sincronizar grandes lotes de dados de tabelas.

Prepare a PostgreSQL environment

2021

Dezembro

Recurso

Descrição

Data de lançamento

Região

Documentação

Data Quality oferece suporte à configuração em lote de regras por modelos de regras

O DataWorks Data Quality permite selecionar modelos de regras para configurar regras de qualidade de dados em lote, simplificando o processo:

  • Permite selecionar modelos de regras no nível da tabela para configurar regras em lote para várias tabelas.

  • Permite selecionar modelos de regras no nível da coluna para configurar regras em lote para várias colunas.

14/12/2021

Todas as regiões.

Configure rules by template

Centro de governança de dados adiciona recurso de análise de uso de recursos

O centro de governança de dados do DataWorks inclui o recurso de análise de uso de recursos, que exibe uma visão geral do consumo de recursos, anomalias e detalhes em quatro dimensões: Check Event, One-Click Real-Time Sync to Maxcompute, One-Click Real-Time Sync to Hologres e MaxCompute Storage Resource Consumption.

09/12/2021

Todas as regiões.

Data pivoting from the resource type perspective

Novembro

Recurso

Descrição

Data de lançamento

Região

Documentação

Data Studio adiciona recurso de orquestração de grupos de recursos

O recurso de orquestração de grupos de recursos do DataWorks ajuda a modificar em lote os grupos de recursos de agendamento usados pelos nós de destino em um fluxo de trabalho especificado durante o desenvolvimento de dados. Quando seu workspace possui vários grupos de recursos de agendamento, use este recurso para reatribuir rapidamente grupos de recursos aos nós de destino conforme as necessidades reais do negócio, promovendo o uso racional dos recursos.

30/11/2021

Todas as regiões.

Resource group orchestration

Data Studio adiciona recurso de operações em lote

O DataWorks suporta operações de edição em lote, como alteração de proprietários de nós, recursos e funções, além de permitir envio e implantação em lote para aplicar alterações ao ambiente de produção.

11/11/2021

Todas as regiões.

Batch operations

Outubro

Recurso

Descrição

Data de lançamento

Região

Documentação

Modelagem Inteligente de Dados do DataWorks adiciona recursos de modelagem reversa e dicionário de nomenclatura

  • O dicionário de nomenclatura fornece gerenciamento de termos de negócios, radicais e morfemas de palavras para tabelas físicas e colunas, além de capacidades padronizadas de tradução.

  • O recurso de modelagem reversa auxilia na engenharia reversa de modelos construídos em outras ferramentas para a modelagem dimensional do DataWorks.

30/10/2021

Este recurso está atualmente em visualização pública. Regiões com visualização pública habilitada: China (Beijing), China (Shanghai), China (Hangzhou), China (Shenzhen), China (Zhangjiakou), China (Chengdu), Singapore, US (Silicon Valley), Germany (Frankfurt), China (Hong Kong), China East 2 Finance, China South 1 Finance.

Data Studio adiciona recurso de busca de código

O recurso de busca de código do DataWorks pesquisa trechos de código nos nós por palavra-chave e exibe todos os nós que contêm o trecho, juntamente com o conteúdo detalhado. Utilize este recurso quando os dados da tabela de destino forem alterados e você precisar localizar a origem da operação (a tarefa que causou a alteração).

27/10/2021

Todas as regiões.

Code search

Setembro

Recurso

Descrição

Data de lançamento

Região

Documentação

Ativos de API do Data Service totalmente integrados ao Data Map

Os ativos de API do Data Service (tipos wizard, script, registrado e outros) foram integrados ao Data Map, oferecendo suporte à pesquisa e gerenciamento global de interfaces de dados em nível corporativo. Isso inclui pesquisa global de APIs, estatísticas de APIs populares, páginas independentes de detalhes de API e distribuição de APIs em cada fonte de dados.

30/09/2021

Todas as regiões.

Lançamento do centro de governança de dados

O centro de governança de dados do DataWorks descobre e quantifica automaticamente problemas de governança nas dimensões de armazenamento de dados, computação de tarefas, desenvolvimento de código, qualidade de dados e segurança de dados, sob perspectivas globais, de workspace e pessoais. Por meio de um modelo de pontuação de integridade com relatórios de governança e rankings, ele ajuda a resolver eficazmente problemas de governança e atingir metas estabelecidas.

12/09/2021

Este recurso está atualmente em visualização pública. Regiões com visualização pública habilitada: China (Shanghai), China (Hangzhou), China (Beijing), China (Shenzhen).

Overview

Agosto

Recurso

Descrição

Data de lançamento

Região

Documentação

Grupo de recursos exclusivo para Data Service lançado em China (Hangzhou) e China (Shanghai)

Quando chamadas de API no Data Service exigem alto QPS e garantias de SLA, são necessários recursos exclusivos do Data Service para assegurar o sucesso das chamadas. O grupo de recursos exclusivo para Data Service atende aos requisitos de chamadas de API de alta concorrência e alta frequência, retornando resultados de maneira oportuna.

06/08/2021

China (Hangzhou) e China (Shanghai).

Exclusive resource groups for DataService Studio

Migration Assistant do DataWorks oficialmente comercializado em 1º de agosto

O Migration Assistant ajuda a replicar rapidamente resultados de desenvolvimento entre diferentes versões do DataWorks, contas principais, regiões e workspaces. Ele suporta a migração de tarefas agendadas, tarefas manuais, recursos, funções, fontes de dados, metadados de tabelas, consultas ad hoc e componentes. Escolha entre exportação completa, incremental ou seletiva conforme as necessidades do negócio.

01/08/2021

Todas as regiões.

Migration Assistant

Julho

Recurso

Descrição

Data de lançamento

Região

Documentação

Módulo de governança de dados do DataWorks adiciona centro de aprovação com fluxos de trabalho personalizáveis

O centro de aprovação do DataWorks é um módulo para gerenciar fluxos de trabalho de autorização de dados e controle de comportamentos sensíveis, incluindo definição de escopo e processo de aprovação, atendendo aos requisitos de aprovação de diferentes empresas em diversos cenários de conformidade interna.

16/07/2021

Todas as regiões.

Overview

DataWorks suporta despacho de tarefas para nós de gateway EMR

Por meio de parâmetros avançados de tarefas, é possível despachar tarefas para nós de gateway EMR com suporte a balanceamento de carga do EMR. As configurações de nó de despacho de tarefas no nível do workspace estarão disponíveis futuramente.

07/2021

Todas as regiões.

Create an EMR Hive node

Junho

Recurso

Descrição

Data de lançamento

Região

Documentação

DataWorks suporta desenvolvimento e operações de tarefas em tempo real do EMR

O DataWorks permite desenvolver tarefas EMR Spark Streaming e EMR Streaming SQL, além de realizar operações.

Os principais recursos incluem: desenvolvimento de tarefas em tempo real, execuções de teste, envio de tarefas para o ambiente de produção, nova tentativa automática em caso de erro, visualização de status e detalhes de tarefas, início, término ou desimplantação de tarefas, e monitoramento de tarefas falhas com alertas.

06/2021

Todas as regiões.

Create an EMR Spark Streaming node

Migração de tarefas de desenvolvimento de dados do EMR para o DataWorks com um clique

O DataWorks oferece dois métodos de migração para transferir fluxos de trabalho (nós e configurações de agendamento), tarefas manuais, recursos e fontes de dados de clusters EMR para workspaces do DataWorks através do Migration Assistant. Acompanhe o progresso, resultados e relatórios de migração pelo Migration Assistant no console do DataWorks.

06/2021

Todas as regiões.

Migrate EMR projects to DataWorks

Operation Center adiciona operações de recursos com monitoramento de marca d'água de grupos de recursos exclusivos

O recurso de operações de recursos monitora o uso dos grupos de recursos utilizados para execução de tarefas no DataWorks.

09/06/2021

Todas as regiões.

Resource O&M

Data Service suporta criação de APIs a partir de fontes de dados MaxCompute

O DataWorks Data Service agora permite acessar e utilizar diretamente tabelas do MaxCompute para criar APIs em versão gray release. As solicitações de chamada de API aproveitam a consulta acelerada do MaxCompute (MCQA) para consultas de dados, proporcionando retornos rápidos e eficientes. (Nota: Fontes de dados MaxCompute são suportadas apenas com grupo de recursos exclusivo para Data Service.)

06/2021

Todas as regiões.

N/A

DataWorks adiciona central de contatos de alerta

Adicione usuários RAM ou funções RAM alvo como contatos de alerta na página de contatos de alerta. Após a adição, o DataWorks envia alertas gerados por erros de execução de tarefas para os contatos correspondentes, ajudando a identificar e tratar prontamente tarefas excepcionais.

06/2021

Todas as regiões.

View and configure alert contacts

Maio

Recurso

Descrição

Data de lançamento

Região

Documentação

DataWorks Data Integration adiciona sincronização em tempo real para AnalyticDB for MySQL 3.0.

O DataWorks suporta sincronização em tempo real de dados de MySQL, OceanBase, PolarDB e outros bancos de dados para o AnalyticDB for MySQL 3.0. Execute primeiro uma sincronização completa e depois inicie a sincronização incremental em tempo real para garantir continuidade. Além disso, a sincronização em tempo real adiciona automaticamente as colunas correspondentes à tabela de destino quando novas colunas são criadas na origem.

25/05/2021

Todas as regiões.

Resource planning and configuration

Visualização pública do Open Message Service (Open Message)

O DataWorks fornece capacidades abertas de mensagens. Ative o recurso de assinatura de mensagens na Plataforma Aberta do DataWorks. Este recurso está disponível apenas para usuários da Enterprise Edition do DataWorks em visualização pública. Usuários da Enterprise Edition podem participar diretamente da visualização e testar gratuitamente o recurso de mensagens abertas. Utilize mensagens abertas para obter eventos de mudança de metadados e tarefas do DataWorks, permitindo integração profunda entre o DataWorks e seus próprios sistemas.

21/05/2021

China (Beijing), China (Hangzhou), China (Shenzhen) e China (Shanghai).

Overview

Agendamento de tarefas do DataWorks adiciona programações anuais e de fim de mês

O agendamento de tarefas do DataWorks passa a incluir programações anuais e de fim de mês, permitindo agendamentos por ano, trimestre e último dia de meses específicos. Atualmente, o DataWorks suporta os seguintes tipos de agendamento: MaxCompute Computing Resource Consumption, DataWorks Scheduling Resource Consumption, DataWorks Batch Synchronization Consumption, Minute, Hour e Sunday.

19/05/2021

Todas as regiões.

Configure time properties

DataWorks suporta mecanismo ClickHouse

O DataWorks oferece suporte ao mecanismo ClickHouse, fornecendo capacidades de operações ETL e gerenciamento, incluindo integração de dados, desenvolvimento de dados, agendamento de tarefas e operações de tarefas para esse mecanismo.

  • O DataWorks permite associar clusters ClickHouse via modo de instância EMR ou string de conexão JDBC, e associar fontes de dados ClickHouse via string de conexão JDBC.

  • O DataWorks suporta leitura e gravação de dados ClickHouse através do Data Integration.

  • O nó ClickHouse SQL do DataWorks implementa um mecanismo distribuído de consulta SQL para processar dados estruturados, melhorando a eficiência na execução de jobs.

15/05/2021

Todas as regiões.

Abril

Recurso

Descrição

Data de lançamento

Região

Documentação

DataWorks Data Integration suporta sincronização em tempo real para AnalyticDB for MySQL 3.0

A sincronização em tempo real para AnalyticDB for MySQL 3.0 permite sincronizar informações em tempo real de múltiplas tabelas em uma única tarefa. A sincronização em tempo real suporta automaticamente a sincronização DDL para adição de colunas, onde colunas adicionadas na origem também são adicionadas às tabelas de destino.

20/04/2021

Todas as regiões.

Create a real-time synchronization solution to synchronize data to AnalyticDB for MySQL 3.0

Data Studio adiciona nó FTP Check

O nó FTP Check verifica periodicamente se um arquivo especificado existe via protocolo FTP. Se o arquivo existir, ele aciona tarefas agendadas downstream. Caso contrário, repete a verificação em intervalos configurados até que as condições de parada sejam atendidas. Este nó é tipicamente usado para passar sinais entre o sistema de agendamento do DataWorks e outros sistemas de agendamento.

15/04/2021

China (Beijing), China (Shanghai), China (Hangzhou), China (Shenzhen), China (Zhangjiakou), China (Chengdu), Singapore.

FTP Check node

Março

Recurso

Descrição

Data de lançamento

Região

Documentação

DataWorks Enterprise Edition adiciona recurso de função personalizada

O recurso de função personalizada permite definir capacidades de permissão adaptadas às necessidades reais do negócio.

22/03/2021

Todas as regiões.

Manage permissions on workspace-level services

DataWorks Data Integration suporta mecanismo de arquivo de autenticação Kerberos

Para fontes de dados como Hive e Kafka que ocasionalmente exigem arquivos de autenticação Kerberos para acesso, o Data Integration suporta o mecanismo de arquivo de autenticação Kerberos. Isso permite enviar livremente arquivos de autenticação de fontes de dados e utilizá-los durante a configuração, garantindo a segurança no acesso à fonte de dados.

16/03/2021

Todas as regiões.

Appendix: Configure Kerberos authentication

Console do DataWorks adiciona novo recurso Security Center

O Security Center do DataWorks ajuda a construir rapidamente capacidades de segurança para conteúdo de dados, privacidade pessoal e áreas relacionadas na plataforma, atendendo a vários requisitos de segurança para cenários de alto risco (como auditoria) sem necessidade de configuração adicional.

13/03/2021

Todas as regiões.

Overview

Operation Center adiciona visualização agregada de DAG e recurso de análise upstream/downstream

Agrupe nós no DAG por dimensões como workspace, proprietário e prioridade para visualizar o número total de nós na dimensão alvo. Realize análises upstream/downstream em nós específicos para localizar rapidamente nós upstream que estão bloqueando o nó atual e visualize o número de nós downstream, obtendo insights sobre o status de execução das tarefas.

10/03/2021

China (Shenzhen).

Manage scheduled tasks

Fevereiro

Recurso

Descrição

Data de lançamento

Região

Documentação

Descoberta de dados suporta criação em lote de coletores de metadados

Week > Month suporta a criação em lote de coletores de metadados para ajudar a visualizar rapidamente estruturas internas de tabelas e relacionamentos associados no Data Map.

17/02/2021

Todas as regiões.

Collect metadata from an EMR data source

Migration Assistant suporta Airflow

O Migration Assistant permite migrar tarefas do sistema de agendamento Airflow para o DataWorks.

16/02/2021

Todas as regiões.

Export tasks from open-source engines

Data Service adiciona API de medição

A API de medição do Data Service, incluindo o painel de medição e detalhes de medição, fornece diversos gráficos visuais e estatísticas, como o número total de APIs e contagem total de chamadas em um workspace, ajudando a compreender o status das chamadas de API de uma perspectiva global. Visualize também gráficos de monitoramento para APIs individuais com informações detalhadas, como códigos de status do API Gateway e códigos de erro do Data Service.

16/02/2021

China (Beijing).

Console do DataWorks adiciona recurso Plataforma Aberta

O recurso Year no console do DataWorks exibe relatórios de medição de Open API para visualizar detalhes de chamadas de Open API em datas específicas.

13/02/2021

Todas as regiões.

Relatório de Open API da Plataforma Aberta do DataWorks

Janeiro

Recurso

Descrição

Data de lançamento

Região

Documentação

DataWorks Data Integration adiciona suporte para fontes de dados HTTP

Algumas fontes de dados fornecem ou recebem dados apenas através de APIs REST HTTP. Para essas fontes, o Data Integration suporta leitura e gravação em lote.

04/01/2021

Todas as regiões.

RestAPI Reader

2020

Dezembro

Recurso

Descrição

Data de lançamento

Região

Documentação

O DataWorks Data Integration adiciona sincronização completa e incremental para o Elasticsearch

Permite a sincronização completa única de todas ou de algumas tabelas de um banco de dados especificado para o Elasticsearch, com modo subsequente de sincronização incremental em tempo real para sincronizar continuamente novos dados com o Elasticsearch.

30/12/2020

Todas as regiões.

Real-time MySQL to Elasticsearch synchronization

Setembro

Recurso

Descrição

Data de lançamento

Região

Documentação

O DataWorks Data Integration adiciona recurso de sincronização em tempo real

O recurso de sincronização de dados em tempo real replica alterações de dados de parte ou de todas as tabelas do banco de dados source para o banco de dados de destino em tempo real, mantendo o banco de dados de destino sincronizado com o source. As soluções permitem a sincronização integrada completa e incremental.

15/04/2021

Todas as regiões.

Julho

Recurso

Descrição

Data de lançamento

Região

Documentação

Visualização pública da Open API para personalização de recursos do DataWorks

O DataWorks disponibiliza APIs de locatário, metadados, desenvolvimento de dados, Operation Center, Data Quality, Data Service, entre outras, oferecendo maior liberdade de uso da plataforma.

Nota

É necessário adquirir o DataWorks Enterprise Edition ou superior para utilizar o recurso Open API.

16/07/2020

China (Hangzhou), China (Shanghai), China (Shenzhen), China (Beijing) e China (Zhangjiakou).

Overview

Visualização pública do Migration Assistant

O Migration Assistant permite migrar tarefas agendadas, tarefas manuais, recursos, funções, fontes de dados, metadados de tabelas, consultas ad hoc e componentes. Escolha entre exportação completa, incremental ou seletiva conforme as necessidades do seu negócio.

07/2020

China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen), China (Chengdu) e Singapore.

Migration Assistant

Atualização do Data Service

O DataWorks Data Service lança uma nova estrutura de árvore de diretórios.

28/07/2020

  • Os recursos de função e filtro estão disponíveis apenas na região China (Shanghai) e exigem o DataWorks Professional Edition ou superior.

  • O recurso de orquestração de API está disponível apenas na região China (Shanghai) e exige o DataWorks Enterprise Edition ou superior.

DataService Studio

Junho

Recurso

Descrição

Data de lançamento

Região

Documentação

Recurso de consulta a partir da fonte de dados

Utilize o recurso de consulta a partir da fonte de dados na página de edição de planilhas para ler rapidamente dados das fontes de dados para análise.

09/06/2020

China (Shanghai).

Analyze data

Abril

Recurso

Descrição

Data de lançamento

Região

Documentação

O Operation Center passa a suportar alertas por telefone

O Operation Center oferece três métodos de alerta: Data Map, Collect Metadata e Open Platform.

Importante

É necessário adquirir o DataWorks Professional Edition ou superior para utilizar o recurso de alerta por telefone.

15/04/2020

Todas as regiões.

Rule management