Todos os produtos
Search
Central de documentação

DataWorks:Desenvolvimento de nós

Última atualização: Jul 10, 2026

O Data Studio oferece suporte a diversos tipos de nós para processamento de dados: nós de integração de dados para sincronização, nós de computação de engine (MaxCompute SQL, Hologres SQL, EMR Hive, entre outros) para limpeza de dados e nós de uso geral (nós virtuais, loops do-while, entre outros) para lógicas complexas.

Tipos de nós suportados

A tabela a seguir lista os tipos de nós compatíveis com agendamento periódico. Os tipos de nós disponíveis para tarefas manuais ou workflows acionados manualmente podem ser diferentes. Para obter a lista mais atualizada, consulte a interface do usuário.

Nota
  • A disponibilidade dos nós varia conforme a edição e a região. Para informações mais precisas, verifique a interface do usuário.

  • Alguns nós não podem ser executados em um workflow. Consulte os detalhes do nó para obter especificações.

Tipo de nó

Nome do nó

Descrição

Código do nó

TaskType

Data Integration

sincronização em lote

Sincroniza dados em lotes recorrentes entre fontes de dados, permitindo a sincronização entre múltiplas fontes heterogêneas em cenários complexos.

Para mais informações sobre as fontes de dados compatíveis com a sincronização em lote, consulte Fontes de dados e soluções de sincronização suportadas.

23

DI

sincronização em tempo real

Sincroniza alterações de dados de uma origem para um banco de dados de destino em tempo real. É possível sincronizar uma única tabela ou um banco de dados inteiro para manter a consistência dos dados.

Para mais informações sobre as fontes de dados compatíveis com a sincronização em tempo real, consulte Fontes de dados e soluções de sincronização suportadas.

900

RI

Notebook

Notebook

Plataforma interativa de processamento e análise de dados que torna a exploração de dados, a visualização e a criação de modelos mais eficientes por meio de workflows modulares e interativos.

1323

NOTEBOOK

MaxCompute

MaxCompute SQL

Permite o agendamento periódico de tarefas MaxCompute SQL. O MaxCompute SQL utiliza sintaxe semelhante à do SQL e é adequado para cenários de processamento distribuído que envolvem dados em grande escala (nível de TB), mas não exigem alta performance em tempo real.

10

ODPS_SQL

Componente SQL

Modelo de código SQL reutilizável com múltiplos parâmetros de entrada e saída. Filtra, une e agrega tabelas de fontes de dados para gerar tabelas de resultados. Crie nós de componente SQL e utilize esses componentes predefinidos para construir rapidamente pipelines de processamento de dados.

1010

COMPONENT_SQL

MaxCompute Script

Combina várias instruções SQL em um único script para compilação e execução unificadas, ideal para cenários de consulta complexa, como subconsultas aninhadas ou operações em várias etapas. Todo o script é enviado de uma vez com um plano de execução unificado, de modo que o job precisa ser enfileirado e executado apenas uma vez.

24

ODPS_SQL_SCRIPT

PyODPS 2

Integra o SDK Python do MaxCompute para que você possa escrever e editar código Python diretamente em nós PyODPS 2, realizando tarefas de processamento e análise de dados no MaxCompute.

221

PY_ODPS

PyODPS 3

Escreva jobs do MaxCompute diretamente em código Python e configure-os para agendamento periódico.

1221

PYODPS3

MaxCompute Spark

Executa jobs em lote do Spark baseados no MaxCompute (modo cluster) na plataforma DataWorks.

225

ODPS_SPARK

MaxCompute MR

Crie um nó MaxCompute MR para enviar programas MapReduce que processam conjuntos de dados em grande escala no MaxCompute usando a API Java do MapReduce.

11

ODPS_MR

Mapear metadados para o Hologres

Para acelerar consultas em dados do MaxCompute no Hologres, use o recurso de mapeamento de metadados do MaxCompute do Data Catalog para mapear metadados de tabelas do MaxCompute para o Hologres, habilitando consultas aceleradas por meio de tabelas externas do Hologres.

-

-

Sincronizar dados para o Hologres

Sincroniza dados de tabela única do MaxCompute para o Hologres para análise de big data e consultas em tempo real.

-

-

Hologres

Hologres SQL

Consulta dados em instâncias do Hologres. O Hologres e o MaxCompute estão perfeitamente conectados no nível subjacente, permitindo o uso de instruções PostgreSQL padrão para consultar e analisar dados do MaxCompute em grande escala sem precisar migrá-los.

1093

HOLOGRES_SQL

Sincronizar dados para o MaxCompute

Migra dados de tabela única do Hologres para o MaxCompute.

1070

HOLOGRES_SYNC_DATA_TO_MC

Sincronização de schema de tabela do MaxCompute com um clique

Oferece um recurso de importação de schema de tabela com um clique para criar rapidamente tabelas externas do Hologres em lote que correspondem aos schemas de tabelas do MaxCompute.

1094

HOLOGRES_SYNC_DDL

Sincronização de dados do MaxCompute com um clique

Sincroniza rapidamente dados do MaxCompute para um banco de dados do Hologres.

1095

HOLOGRES_SYNC_DATA

Serverless Spark

Serverless Spark Batch

Nó Spark baseado no Serverless Spark, adequado para processamento de dados em grande escala.

2100

SERVERLESS_SPARK_BATCH

Serverless Spark SQL

Nó de consulta SQL baseado no Serverless Spark que suporta sintaxe SQL padrão e fornece recursos de análise de dados de alto desempenho.

2101

SERVERLESS_SPARK_SQL

Nó Serverless Kyuubi

Conecta-se ao Serverless Spark por meio da interface Kyuubi JDBC/ODBC, fornecendo serviços Spark SQL multilocatário.

2103

SERVERLESS_KYUUBI

Severless StarRocks

Serverless StarRocks SQL

Nó SQL baseado no EMR Serverless StarRocks, compatível com a sintaxe SQL open-source do StarRocks, oferecendo análise de consultas OLAP ultrarrápida e análise de consultas lakehouse.

2104

SERVERLESS_STARROCKS

LLM

Nó de modelo de linguagem grande

Engine integrada de processamento e análise de dados que realiza limpeza e mineração de dados com base em suas instruções em linguagem natural.

2200

LLM_NODE

Flink

Flink SQL Streaming

Define a lógica de processamento de tarefas em tempo real usando instruções SQL padrão. Oferece suporte rico a SQL, gerenciamento de estado poderoso e tolerância a falhas, compatibilidade com tempo de evento e tempo de processamento, além de escalabilidade flexível. Integra-se a sistemas como Kafka e HDFS e fornece ferramentas de log e monitoramento de desempenho.

2012

FLINK_SQL_STREAM

Flink SQL Batch

Define e executa tarefas de processamento de dados usando instruções SQL padrão. Adequado para análise e transformação de grandes conjuntos de dados, incluindo limpeza e agregação de dados. Suporta configuração visual para processamento eficiente de dados em lote em grande escala.

2011

FLINK_SQL_BATCH

EMR

EMR Hive

Utiliza instruções semelhantes a SQL para ler, gravar e gerenciar grandes conjuntos de dados, permitindo análise e desenvolvimento eficientes de dados de log.

227

EMR_HIVE

EMR Impala

Engine de consulta SQL interativa em tempo real e rápida para big data na escala de PB.

260

EMR_IMPALA

EMR MR

Divide conjuntos de dados em grande escala em múltiplas tarefas Map paralelas para melhorar significativamente a eficiência do processamento de dados.

230

EMR_MR

EMR Presto

Engine de consulta SQL distribuída, flexível e escalável, que suporta análise interativa e consulta de big data usando sintaxe de consulta SQL padrão.

259

EMR_PRESTO

EMR Shell

Escreva e execute scripts Shell personalizados para processamento de dados, invocação de componentes Hadoop e operações de arquivo.

257

EMR_SHELL

EMR Spark

Engine de análise de big data de uso geral que suporta computação complexa em memória, ideal para criar aplicações de análise de dados em grande escala e com baixa latência.

228

EMR_SPARK

EMR Spark SQL

Processa dados estruturados usando uma engine de consulta SQL distribuída para melhorar a eficiência da execução de jobs.

229

EMR_SPARK_SQL

EMR Spark Streaming

Processa dados de streaming em tempo real com alto throughput e mecanismos de tolerância a falhas que permitem recuperação rápida de erros no fluxo de dados.

264

EMR_SPARK_STREAMING

EMR Trino

Engine de consulta SQL distribuída adequada para análise interativa e consulta em múltiplas fontes de dados.

267

EMR_TRINO

EMR Kyuubi

Gateway distribuído e multilocatário que fornece serviços de consulta SQL para engines de consulta de data lake, como Spark, Flink e Trino.

268

EMR_KYUUBI

ADB

ADB for PostgreSQL

Suporta o desenvolvimento e o agendamento periódico de tarefas do AnalyticDB for PostgreSQL.

1000090

-

ADB for MySQL

Suporta o desenvolvimento e o agendamento periódico de tarefas do AnalyticDB for MySQL.

1000126

-

ADB Spark

Suporta o desenvolvimento e o agendamento periódico de tarefas do AnalyticDB Spark.

1990

ADB_SPARK

ADB Spark SQL

Suporta o desenvolvimento e o agendamento periódico de tarefas do AnalyticDB Spark SQL.

1991

ADB_SPARK_SQL

CDH

CDH Hive

Destinado a usuários que implantaram um cluster CDH e desejam executar tarefas Hive no DataWorks.

270

CDH_HIVE

CDH Spark

Engine de análise de big data de uso geral que suporta análise complexa em memória, adequada para criar aplicações de análise de dados em grande escala e com baixa latência.

271

CDH_SPARK

CDH Spark SQL

Processa dados estruturados usando uma engine de consulta SQL distribuída para melhorar a eficiência da execução de jobs.

272

CDH_SPARK_SQL

CDH MR

Processa conjuntos de dados de escala extremamente grande.

273

CDH_MR

CDH Presto

Engine de consulta SQL distribuída que aprimora os recursos de análise de dados do ambiente CDH.

278

CDH_PRESTO

CDH Impala

Escreva e execute scripts Impala SQL para obter desempenho de consulta mais rápido.

279

CDH_IMPALA

Lindorm

Lindorm Spark

Suporta o desenvolvimento e o agendamento periódico de tarefas do Lindorm Spark.

1800

LINDORM_SPARK

Lindorm Spark SQL

Suporta o desenvolvimento e o agendamento periódico de tarefas do Lindorm Spark SQL.

1801

LINDORM_SPARK_SQL

Click House

ClickHouse SQL

Suporta consultas SQL distribuídas e processamento de dados estruturados para melhorar a eficiência da execução de jobs.

1301

CLICK_SQL

Data Quality

Monitoramento de qualidade

Configure regras de monitoramento de qualidade de dados para verificar problemas como dados incorretos nas tabelas de origem. Personalize políticas de agendamento para executar periodicamente tarefas de monitoramento visando a validação de dados.

1333

DATA_QUALITY_MONITOR

Comparação de dados

Compara dados entre diferentes tabelas usando vários métodos.

1331

DATA_SYNCHRONIZATION_QUALITY_CHECK

Geral

Nó de carga zero

Nó de controle que executa uma simulação sem gerar dados. Geralmente usado como nó raiz para orquestração de workflows, organizando nós e workflows.

99

VIRTUAL

Nó de atribuição

Transmite a última consulta ou resultado de saída do nó de atribuição para nós downstream por meio do recurso de contexto do nó, permitindo a passagem de parâmetros entre nós.

1100

CONTROLLER_ASSIGNMENT

Nó Shell

Os nós Shell suportam sintaxe Shell padrão, mas não suportam sintaxe interativa.

6

DIDE_SHELL

Nó de parâmetro

Agrega parâmetros de nós upstream e os distribui para nós downstream.

1115

PARAM_HUB

Verificação de objeto OSS

Aciona a execução de nós downstream monitorando objetos do OSS.

239

OSS_INSPECT

Nó Python

Suporta Python 3.0. Pode obter parâmetros upstream por meio de parâmetros de agendamento e aplicar parâmetros personalizados, além de transmitir sua saída como parâmetros para nós downstream.

1322

PYTHON

Nó de mesclagem

Mescla o status de execução de nós upstream, resolvendo a montagem de dependências e o acionamento de execução para nós downstream de nós de ramificação.

1102

CONTROLLER_JOIN

Nó de ramificação

Avalia resultados upstream e direciona diferentes resultados para lógicas de ramificação distintas. Pode ser usado em conjunto com nós de atribuição.

1101

CONTROLLER_BRANCH

nó for-each

Itera sobre o conjunto de resultados transmitido por um nó de atribuição.

1106

CONTROLLER_TRAVERSE

Nó Do-while

Executa um subconjunto da lógica do nó em loop. Também pode ser usado com nós de atribuição para percorrer em loop os resultados transmitidos por um nó de atribuição.

1103

CONTROLLER_CYCLE

Nó de verificação

Verifica se um objeto de destino (tabela particionada do MaxCompute, arquivo FTP ou arquivo OSS) está disponível. Quando a política de verificação é atendida, o nó retorna um status de sucesso e aciona a execução da tarefa downstream. Objetos de destino suportados:

  • Tabela particionada do MaxCompute

  • Arquivo FTP

  • Arquivo OSS

  • HDFS

  • OSS-HDFS

241

CHECK_NODE

Function Compute

Agenda e processa periodicamente funções de evento.

1330

FUNCTION_COMPUTE

Gatilho HTTP

Aciona tarefas do DataWorks quando tarefas em outros sistemas de agendamento são concluídas.

Nota

O DataWorks não suporta mais a criação de nós entre locatários. Se você estiver usando nós entre locatários, recomendamos mudar para nós de gatilho HTTP, que oferecem os mesmos recursos.

1114

SCHEDULER_TRIGGER

SSH

Acessa remotamente um host conectado por meio de uma fonte de dados SSH especificada e aciona a execução de script no host remoto.

1321

SSH

Data Push

Envia resultados de consulta de dados gerados por outros nós em um workflow do Data Studio para grupos do DingTalk, grupos do Lark, grupos do WeCom, Teams e e-mail, por meio da criação de alvos de envio de dados.

1332

DATA_PUSH

Nós de banco de dados

Nó MySQL

Os nós MySQL suportam o desenvolvimento e o agendamento periódico de tarefas MySQL.

1000125

-

SQL Server

Os nós SQL Server suportam o desenvolvimento e o agendamento periódico de tarefas SQL Server.

10001

-

Nó Oracle

Os nós Oracle suportam o desenvolvimento e o agendamento periódico de tarefas Oracle.

10002

-

Nó PostgreSQL

Os nós PostgreSQL suportam o desenvolvimento e o agendamento periódico de tarefas PostgreSQL.

10003

-

Nó StarRocks

Suporta o desenvolvimento e o agendamento periódico de tarefas StarRocks.

10004

-

Nó DRDS

Suporta o desenvolvimento e o agendamento periódico de tarefas DRDS.

10005

-

Nó PolarDB MySQL

Suporta o desenvolvimento e o agendamento periódico de tarefas PolarDB MySQL.

10006

-

Nó PolarDB PostgreSQL

Os nós PolarDB PostgreSQL suportam o desenvolvimento e o agendamento periódico de tarefas PolarDB PostgreSQL.

10007

-

Nó Doris

Os nós Doris suportam o desenvolvimento e o agendamento periódico de tarefas Doris.

10008

-

Nó MariaDB

Os nós MariaDB suportam o desenvolvimento e o agendamento periódico de tarefas MariaDB.

10009

-

Nó SelectDB

Os nós SelectDB suportam o desenvolvimento e o agendamento periódico de tarefas SelectDB.

10010

-

Nó Redshift

Os nós Redshift suportam o desenvolvimento e o agendamento periódico de tarefas Redshift.

10011

-

Nó Saphana

Os nós Saphana suportam o desenvolvimento e o agendamento periódico de tarefas SAP HANA.

10012

-

Nó Vertica

Os nós Vertica suportam o desenvolvimento e o agendamento periódico de tarefas Vertica.

10013

-

Nó DM (Dameng)

Os nós DM suportam o desenvolvimento e o agendamento periódico de tarefas DM.

10014

-

Nó KingbaseES

Os nós KingbaseES suportam o desenvolvimento e o agendamento periódico de tarefas KingbaseES.

10015

-

Nó OceanBase

Os nós OceanBase suportam o desenvolvimento e o agendamento periódico de tarefas OceanBase.

10016

-

Nó DB2

Os nós DB2 suportam o desenvolvimento e o agendamento periódico de tarefas DB2.

10017

-

Nó GBase 8a

Os nós GBase 8a suportam o desenvolvimento e o agendamento periódico de tarefas GBase 8a.

10018

-

Algoritmo

PAI Designer

Ferramenta de modelagem visual do PAI para implementar workflows de desenvolvimento de machine learning de ponta a ponta.

1117

PAI_STUDIO

PAI DLC

Serviço de treinamento baseado em contêineres do PAI para execução distribuída de tarefas de treinamento.

1119

PAI_DLC

PAI Flow

Workflow de índice de base de conhecimento do PAI / gera nós PAIFlow no lado do DataWorks.

1250

PAI_FLOW

Nó lógico

Nó SUB_PROCESS

Consolida múltiplos workflows em um todo unificado para gerenciamento e agendamento.

1122

SUB_PROCESS

Criar nós

Criar nós para workflows agendados

Se suas tarefas precisarem ser executadas automaticamente em intervalos especificados (como por hora, diariamente ou semanalmente), crie nós de tarefa agendada das seguintes formas: crie um nó de tarefa agendada independente, adicione nós internos a um workflow agendado ou clone um nó existente.

  1. Acesse a página Workspaces no console do DataWorks. Na barra de navegação superior, selecione a região desejada. Encontre o workspace desejado e escolha Shortcuts > Data Studio na coluna Actions.

  2. No painel de navegação à esquerda, clique em image para acessar a página do Data Studio.

Criar um nó de tarefa agendada

  1. Clique em image no lado direito do diretório do projeto, selecione New Node e, em seguida, selecione o tipo de nó desejado.

    Importante

    O sistema fornece uma lista Common Nodes e uma lista All Nodes. Selecione All Nodes na parte inferior para visualizar todos os tipos de nós disponíveis. Use a caixa de pesquisa para encontrar nós rapidamente ou utilize os filtros de categoria (como MaxCompute, Data Integration e General) para localizar e criar o nó desejado.

    Crie diretórios antecipadamente para organizar e gerenciar os nós.
  2. Defina o nome do nó e salve-o. A página de edição do nó será exibida em seguida.

Criar nós internos em um workflow agendado

  1. Crie um workflow agendado.

  2. Na tela do workflow, clique em New Node na barra de ferramentas superior, selecione o tipo de nó desejado com base na tarefa que você precisa desenvolver e arraste-o para a tela.

  3. Defina o nome do nó e salve-o.

Criar um nó por clonagem

Use o recurso de clonagem para duplicar rapidamente um nó existente e criar um novo. O conteúdo clonado inclui as informações de Scheduling Settings do nó (Scheduling Parameters, Scheduling time e Scheduling Dependency).

  1. No Project Directory à esquerda, clique com o botão direito do mouse no nó que deseja clonar e selecione Cloning no menu de contexto.

  2. Na caixa de diálogo, modifique o Name e o Path do nó (ou mantenha os valores padrão) e clique em Confirm para iniciar a clonagem.

  3. Após a conclusão da clonagem, visualize o nó recém-criado no Project Directory.

Criar nós para workflows acionados manualmente

Se suas tarefas não precisarem ser executadas periodicamente, mas devam ser implantadas no ambiente de produção e executadas manualmente quando necessário, crie nós internos em um workflow acionado manualmente.

  1. Acesse a página Workspaces no console do DataWorks. Na barra de navegação superior, selecione a região desejada. Encontre o workspace desejado e escolha Shortcuts > Data Studio na coluna Actions.

  2. No painel de navegação à esquerda, clique em image para acessar a página de workflows acionados manualmente.

    1. Crie um workflow acionado manualmente.

    2. Na barra de ferramentas na parte superior da página de edição do workflow acionado manualmente, clique em New Internal Node e selecione o tipo de nó desejado com base na tarefa que você precisa desenvolver.

    3. Defina o nome do nó e salve-o.

Criar nós de tarefa manual

  1. Acesse a página Workspaces no console do DataWorks. Na barra de navegação superior, selecione a região desejada. Encontre o workspace desejado e escolha Shortcuts > Data Studio na coluna Actions.

  2. No painel de navegação à esquerda, clique em image para acessar a página de tarefas manuais.

  3. Na seção inferior, clique em image no lado direito de Manually Triggered Task, selecione New Node e, em seguida, selecione o tipo de nó desejado.

    Nota

    As tarefas manuais suportam apenas os seguintes tipos de nó: Offline synchronization, Notebook, Maxcompute SQL, Maxcompute Script, Pyodps 2, Maxcompute MR, Hologres SQL, Python e Shell.

  4. Defina o nome do nó e salve-o. A página de edição do nó será exibida em seguida.

Edição em lote de nós

Quando um workflow contém muitos nós, abri-los um a um para edição é ineficiente. O DataWorks oferece o recurso Internal Node List, que exibe todos os nós em uma lista no lado direito da tela para visualização rápida, pesquisa e edição em lote.

Uso

  1. Na barra de ferramentas na parte superior da tela do workflow, clique no botão Show Internal Node List para abrir o painel de recursos no lado direito da tela.

    image

  2. Após a abertura do painel, todos os nós do workflow atual são exibidos em uma lista.

    • Visualização e classificação de código:

      • Nós que suportam edição de código (como MaxCompute SQL) expandem o editor de código por padrão.

      • Nós que não suportam edição de código (como nós virtuais) são exibidos como cartões e organizados automaticamente na parte inferior da lista.

    • Pesquisa rápida e navegação:

      • Pesquisa: Insira palavras-chave na caixa de pesquisa na parte superior para realizar uma busca aproximada nos nomes dos nós.

      • Vinculação: A vinculação bidirecional está disponível entre a tela e a barra lateral. Selecionar um nó na tela destaca o nó correspondente na barra lateral e vice-versa.

    • Edição online:

      • Ações: O canto superior direito de cada cartão de nó fornece ações rápidas como Load Latest Code, Open Node e Edit.

      • Salvamento automático: Após entrar no estado de edição, as alterações são salvas automaticamente quando o foco do mouse sai da área do bloco de código.

      • Detecção de conflitos: Se o código for atualizado por outro usuário durante a edição, uma notificação de falha no salvamento será acionada para evitar substituições acidentais.

    • Modo de foco:

      • Selecione um nó e clique em image no canto superior direito da janela flutuante para ativar o Focus Mode. A barra lateral exibe apenas o nó selecionado no momento, proporcionando mais espaço para edição de código.

Gerenciamento de versões

Restaure nós para uma versão histórica específica. O sistema também fornece recursos de visualização e comparação de versões para ajudar você a analisar diferenças e fazer ajustes.

  1. No Project Directory à esquerda, clique duas vezes no nome do nó de destino para acessar a página de edição do nó.

  2. Clique em Version no lado direito da página de edição do nó. Na página Version, visualize e gerencie as informações de Developer Record e Publish Record.

    • View uma versão:

      1. Na aba Developer Record ou Publish Record, localize a versão do nó que deseja visualizar.

      2. Clique em View na coluna Operation para acessar a página de detalhes, onde é possível visualizar o conteúdo do código do nó e as informações de Scheduling Settings.

        Nota

        As informações de Scheduling Settings podem ser visualizadas em Script Mode ou Visual Mode. Alterne entre os modos de visualização no canto superior direito da aba Scheduling Settings.

    • Compare versões:

      Na aba Developer Record ou Publish Record, compare diferentes versões de um nó. O exemplo a seguir usa o registro de desenvolvedor para demonstrar a operação de comparação.

      • Comparar dentro de registros de desenvolvimento ou implantação: Na aba Developer Record, selecione duas versões e clique no botão Select Comparison na parte superior para comparar o conteúdo do código do nó e as configurações de agendamento entre as versões.

      • Comparar entre registros de desenvolvimento e implantação ou build:

        1. Na aba Developer Record, localize a versão desejada do nó.

        2. Clique em Compare na coluna Operation e, na página de detalhes, selecione uma versão de Publish Record ou Build Records para comparar.

    • Restore uma versão:

      Restaure nós apenas do Developer Record para uma versão histórica específica. Na aba Developer Record, localize a versão de destino e clique em Restore na coluna Operation para restaurar o código do nó e as informações de Scheduling Settings para a versão de destino.

    • Referências

      FAQ

      Posso baixar o código do nó (como SQL ou Python) para minha máquina local?

      • Resposta: Não há um recurso de download direto disponível. Copie o código para sua máquina local durante o desenvolvimento. Alternativamente, desenvolva no diretório pessoal no Data Studio e envie o código para o diretório do projeto, o que salva seu código localmente.