Todos os produtos
Search
Central de documentação

DataWorks:Visão geral do desenvolvimento de nós

Última atualização: Aug 17, 2026

O Data Studio oferece suporte a diversos tipos de nó para processamento de dados: nós de integração de dados para sincronização, nós de computação de engine (MaxCompute SQL, Hologres SQL, EMR Hive, entre outros) para limpeza de dados e nós de uso geral (nós virtuais, loops do-while, entre outros) para lógicas complexas.

Tipos de nó compatíveis

A tabela a seguir lista os tipos de nó compatíveis com agendamento periódico. Os tipos de nó para tarefas manuais ou fluxos de trabalho acionados manualmente podem ser diferentes. Para obter a lista mais atualizada, consulte a interface do usuário.

Nota
  • A disponibilidade dos nós varia conforme a edição e a região. Para informações mais precisas, verifique a interface do usuário.

  • Alguns nós não podem ser executados em um fluxo de trabalho. Consulte os detalhes do nó para obter especificações.

Tipo de nó

Nome do nó

Descrição

Código do nó

TaskType

Integração de Dados

batch synchronization

Sincroniza dados em lotes recorrentes entre fontes de dados, oferecendo suporte à sincronização em várias fontes heterogêneas em cenários complexos.

Para obter mais informações sobre as fontes de dados compatíveis com a sincronização em lote, consulte Supported data sources and synchronization solutions.

23

DI

real-time synchronization

Sincroniza alterações de dados de uma origem para um banco de dados de destino em tempo real. É possível sincronizar uma única tabela ou um banco de dados inteiro para manter a consistência dos dados.

Para obter mais informações sobre as fontes de dados compatíveis com a sincronização em tempo real, consulte Supported data sources and synchronization solutions.

900

RI

Notebook

Notebook

Plataforma interativa de processamento e análise de dados que torna a exploração de dados, a visualização e a criação de modelos mais eficientes por meio de fluxos de trabalho modulares e interativos.

1323

NOTEBOOK

MaxCompute

MaxCompute SQL

Oferece suporte ao agendamento periódico de tarefas MaxCompute SQL. O MaxCompute SQL utiliza sintaxe semelhante à do SQL e é adequado para cenários de processamento distribuído que envolvem dados em grande escala (nível de TB), mas não exigem alto desempenho em tempo real.

10

ODPS_SQL

SQL component

Modelo de código SQL reutilizável com múltiplos parâmetros de entrada e saída. Ele filtra, une e agrega tabelas de source de dados para gerar tabelas de resultados. Crie nós de componente SQL e utilize esses componentes predefinidos para construir rapidamente pipelines de processamento de dados.

1010

COMPONENT_SQL

MaxCompute Script

Combina várias instruções SQL em um único script para compilação e execução unificadas, ideal para cenários de consulta complexos, como subconsultas aninhadas ou operações em várias etapas. Todo o script é enviado de uma vez com um plano de execução unificado, de modo que o job precisa ser enfileirado e executado apenas uma vez.

24

ODPS_SQL_SCRIPT

PyODPS 2

Integra o SDK Python do MaxCompute para que você possa escrever e editar código Python diretamente em nós PyODPS 2, realizando tarefas de processamento e análise de dados no MaxCompute.

221

PY_ODPS

PyODPS 3

Escreva jobs do MaxCompute diretamente em código Python e configure-os para agendamento periódico.

1221

PYODPS3

MaxCompute Spark

Executa jobs em lote do Spark baseados no MaxCompute (modo cluster) na plataforma DataWorks.

225

ODPS_SPARK

MaxCompute MR

Crie um nó MaxCompute MR para enviar programas MapReduce que processam conjuntos de dados em grande escala no MaxCompute usando a API Java do MapReduce.

11

ODPS_MR

Map metadata to Hologres

Para acelerar consultas a dados do MaxCompute no Hologres, utilize o recurso de mapeamento de metadados do MaxCompute do Catálogo de Dados para mapear metadados de tabelas do MaxCompute para o Hologres, permitindo consultas aceleradas por meio de tabelas externas do Hologres.

-

-

Synchronize data to Hologres

Sincroniza dados de tabela única do MaxCompute para o Hologres para análise de big data e consultas em tempo real.

-

-

Hologres

Hologres SQL

Consulta dados em instâncias do Hologres. O Hologres e o MaxCompute são conectados perfeitamente no nível subjacente, permitindo o uso de instruções PostgreSQL padrão para consultar e analisar dados do MaxCompute em grande escala sem migrá-los.

1093

HOLOGRES_SQL

Synchronize data to MaxCompute

Migra dados de tabela única do Hologres para o MaxCompute.

1070

HOLOGRES_SYNC_DATA_TO_MC

One-click MaxCompute table schema synchronization

Oferece um recurso de importação de esquema de tabela com um clique para criar rapidamente tabelas externas do Hologres em lote que correspondem aos esquemas de tabela do MaxCompute.

1094

HOLOGRES_SYNC_DDL

One-click MaxCompute data synchronization

Sincroniza rapidamente dados do MaxCompute para um banco de dados Hologres.

1095

HOLOGRES_SYNC_DATA

Serverless Spark

Serverless Spark Batch

Nó Spark baseado no Serverless Spark, adequado para processamento de dados em grande escala.

2100

SERVERLESS_SPARK_BATCH

Serverless Spark SQL

Nó de consulta SQL baseado no Serverless Spark que oferece suporte à sintaxe SQL padrão e fornece recursos de análise de dados de alto desempenho.

2101

SERVERLESS_SPARK_SQL

Serverless Kyuubi node

Conecta-se ao Serverless Spark por meio da interface Kyuubi JDBC/ODBC, fornecendo service Spark SQL multilocatário.

2103

SERVERLESS_KYUUBI

Severless StarRocks

Serverless StarRocks SQL

Nó SQL baseado no EMR Serverless StarRocks, compatível com a sintaxe SQL do StarRocks open-source, oferecendo análise de consulta OLAP ultrarrápida e análise de consulta lakehouse.

2104

SERVERLESS_STARROCKS

LLM

Large language model node

Engine integrada de processamento e análise de dados que realiza limpeza e mineração de dados com base em suas instruções em linguagem natural.

2200

LLM_NODE

Flink

Flink SQL Streaming

Define a lógica de processamento de tarefas em tempo real usando instruções SQL padrão. Oferece suporte abrangente a SQL, gerenciamento de status robusto e tolerância a falhas, compatibilidade com tempo de evento e tempo de processamento, além de escalabilidade flexível. Integra-se a sistemas como Kafka e HDFS e fornece ferramentas de log e monitoramento de desempenho.

2012

FLINK_SQL_STREAM

Flink SQL Batch

Define e executa tarefas de processamento de dados usando instruções SQL padrão. Adequado para análise e transformação de grandes conjuntos de dados, incluindo limpeza e agregação de dados. Suporta configuração visual para processamento eficiente de dados em lote em grande escala.

2011

FLINK_SQL_BATCH

EMR

EMR Hive

Utiliza instruções semelhantes a SQL para ler, gravar e gerenciar grandes conjuntos de dados, permitindo análise e desenvolvimento eficientes de dados de log.

227

EMR_HIVE

EMR Impala

Engine de consulta SQL interativa em tempo real e rápida para big data na escala de PB.

260

EMR_IMPALA

EMR MR

Divide conjuntos de dados em grande escala em múltiplas tarefas Map paralelas para melhorar significativamente a eficiência do processamento de dados.

230

EMR_MR

EMR Presto

Engine de consulta SQL distribuída, flexível e escalável, que suporta análise interativa e consulta de big data usando sintaxe de consulta SQL padrão.

259

EMR_PRESTO

EMR Shell

Escreva e execute scripts Shell personalizados para processamento de dados, invocação de componentes Hadoop e operações de arquivo.

257

EMR_SHELL

EMR Spark

Engine de análise de big data de uso geral que suporta computação complexa em memória, ideal para criar aplicações de análise de dados em grande escala e com baixa latência.

228

EMR_SPARK

EMR Spark SQL

Processa dados estruturados usando uma engine de consulta SQL distribuída para melhorar a eficiência da execução de jobs.

229

EMR_SPARK_SQL

EMR Spark Streaming

Processa dados de streaming em tempo real de alta vazão com mecanismos de tolerância a falhas que permitem recuperação rápida de erros no fluxo de dados.

264

EMR_SPARK_STREAMING

EMR Trino

Engine de consulta SQL distribuída adequada para análise interativa e consulta em várias fontes de dados.

267

EMR_TRINO

EMR Kyuubi

Gateway distribuído e multilocatário que fornece service de consulta SQL para engines de consulta de data lake, como Spark, Flink e Trino.

268

EMR_KYUUBI

ADB

ADB for PostgreSQL

Suporta o desenvolvimento e o agendamento periódico de tarefas do AnalyticDB for PostgreSQL.

1000090

-

ADB for MySQL

Suporta o desenvolvimento e o agendamento periódico de tarefas do AnalyticDB for MySQL.

1000126

-

ADB Spark

Suporta o desenvolvimento e o agendamento periódico de tarefas do AnalyticDB Spark.

1990

ADB_SPARK

ADB Spark SQL

Suporta o desenvolvimento e o agendamento periódico de tarefas do AnalyticDB Spark SQL.

1991

ADB_SPARK_SQL

CDH

CDH Hive

Destinado a usuários que implantaram um cluster CDH e desejam executar tarefas Hive no DataWorks.

270

CDH_HIVE

CDH Spark

Engine de análise de big data de uso geral que suporta análise complexa em memória, adequada para criar aplicações de análise de dados em grande escala e com baixa latência.

271

CDH_SPARK

CDH Spark SQL

Processa dados estruturados usando uma engine de consulta SQL distribuída para melhorar a eficiência da execução de jobs.

272

CDH_SPARK_SQL

CDH MR

Processa conjuntos de dados de escala extremamente grande.

273

CDH_MR

CDH Presto

Engine de consulta SQL distribuída que aprimora os recursos de análise de dados do ambiente CDH.

278

CDH_PRESTO

CDH Impala

Escreva e execute scripts Impala SQL para obter desempenho de consulta mais rápido.

279

CDH_IMPALA

Lindorm

Lindorm Spark

Suporta o desenvolvimento e o agendamento periódico de tarefas do Lindorm Spark.

1800

LINDORM_SPARK

Lindorm Spark SQL

Suporta o desenvolvimento e o agendamento periódico de tarefas do Lindorm Spark SQL.

1801

LINDORM_SPARK_SQL

Click House

ClickHouse SQL

Suporta consultas SQL distribuídas e processamento de dados estruturados para melhorar a eficiência da execução de jobs.

1301

CLICK_SQL

Qualidade de Dados

Quality monitoring

Configure regras de monitoramento de qualidade de dados para verificar problemas como dados incorretos nas tabelas de source. Personalize políticas de agendamento para executar periodicamente tarefas de monitoramento visando a validação de dados.

1333

DATA_QUALITY_MONITOR

Data comparison

Compara dados entre diferentes tabelas usando vários métodos.

1331

DATA_SYNCHRONIZATION_QUALITY_CHECK

Geral

Zero load node

Nó de controle que executa uma simulação sem gerar dados. Geralmente usado como nó raiz para orquestração de fluxos de trabalho, organizando nós e fluxos.

99

VIRTUAL

Assignment node

Transmite a última consulta ou resultado de saída do nó de atribuição para nós downstream por meio do recurso de contexto de nó, permitindo a passagem de parâmetros entre nós.

1100

CONTROLLER_ASSIGNMENT

Shell node

Os nós Shell suportam sintaxe Shell padrão, mas não suportam sintaxe interativa.

6

DIDE_SHELL

Parameter node

Agrega parâmetros de nós upstream e os distribui para nós downstream.

1115

PARAM_HUB

OSS object check

Aciona a execução de nós downstream monitorando objetos OSS.

239

OSS_INSPECT

Python node

Oferece suporte ao Python 3.0. Pode obter parâmetros upstream por meio de parâmetros de agendamento e aplicar parâmetros personalizados, além de transmitir sua saída como parâmetros para nós downstream.

1322

PYTHON

Merge node

Consolida o status de execução de nós upstream, resolvendo a montagem de dependências e o acionamento de execução para nós downstream de nós de ramificação.

1102

CONTROLLER_JOIN

Branch node

Avalia resultados upstream e direciona diferentes desfechos para lógicas de ramificação distintas. Pode ser usado em conjunto com nós de atribuição.

1101

CONTROLLER_BRANCH

For-each node

Itera sobre o conjunto de resultados transmitido por um nó de atribuição.

1106

CONTROLLER_TRAVERSE

Do-while node

Executa um subconjunto da lógica do nó em loop. Também pode ser usado com nós de atribuição para percorrer em loop os resultados transmitidos por um nó de atribuição.

1103

CONTROLLER_CYCLE

Check node

Verifica se um objeto de destino (tabela particionada do MaxCompute, arquivo FTP ou arquivo OSS) está disponível. Quando a política de verificação é atendida, o nó retorna um status de sucesso e aciona a execução da tarefa downstream. Objetos de destino compatíveis:

  • Tabela particionada do MaxCompute

  • Arquivo FTP

  • Arquivo OSS

  • HDFS

  • OSS-HDFS

241

CHECK_NODE

Function Compute

Agenda e processa periodicamente funções de evento.

1330

FUNCTION_COMPUTE

HTTP trigger

Aciona tarefas do DataWorks quando tarefas em outros sistemas de agendamento são concluídas.

Nota

O DataWorks não oferece mais suporte à criação de nós entre locatários. Se você estiver usando nós entre locatários, recomendamos mudar para nós de gatilho HTTP, que fornecem os mesmos recursos.

1114

SCHEDULER_TRIGGER

SSH

Acessa remotamente um host conectado por meio de uma fonte de dados SSH especificada e aciona a execução de script no host remoto.

1321

SSH

Data Push

Envia resultados de consulta de dados gerados por outros nós em um fluxo de trabalho do Data Studio para grupos do DingTalk, grupos do Lark, grupos do WeCom, Teams e e-mail, mediante a criação de alvos de envio de dados.

1332

DATA_PUSH

Database nodes

Nó MySQL

Os nós MySQL suportam o desenvolvimento e o agendamento periódico de tarefas MySQL.

1000125

-

SQL Server

Os nós SQL Server suportam o desenvolvimento e o agendamento periódico de tarefas SQL Server.

10001

-

Nó Oracle

Os nós Oracle suportam o desenvolvimento e o agendamento periódico de tarefas Oracle.

10002

-

Nó PostgreSQL

Os nós PostgreSQL suportam o desenvolvimento e o agendamento periódico de tarefas PostgreSQL.

10003

-

Nó StarRocks

Suporta o desenvolvimento e o agendamento periódico de tarefas StarRocks.

10004

-

Nó DRDS

Suporta o desenvolvimento e o agendamento periódico de tarefas DRDS.

10005

-

Nó PolarDB MySQL

Suporta o desenvolvimento e o agendamento periódico de tarefas PolarDB MySQL.

10006

-

Nó PolarDB PostgreSQL

Os nós PolarDB PostgreSQL suportam o desenvolvimento e o agendamento periódico de tarefas PolarDB PostgreSQL.

10007

-

Nó Doris

Os nós Doris suportam o desenvolvimento e o agendamento periódico de tarefas Doris.

10008

-

Nó MariaDB

Os nós MariaDB suportam o desenvolvimento e o agendamento periódico de tarefas MariaDB.

10009

-

Nó SelectDB

Os nós SelectDB suportam o desenvolvimento e o agendamento periódico de tarefas SelectDB.

10010

-

Nó Redshift

Os nós Redshift suportam o desenvolvimento e o agendamento periódico de tarefas Redshift.

10011

-

Nó Saphana

Os nós Saphana suportam o desenvolvimento e o agendamento periódico de tarefas SAP HANA.

10012

-

Nó Vertica

Os nós Vertica suportam o desenvolvimento e o agendamento periódico de tarefas Vertica.

10013

-

Nó DM (Dameng)

Os nós DM suportam o desenvolvimento e o agendamento periódico de tarefas DM.

10014

-

Nó KingbaseES

Os nós KingbaseES suportam o desenvolvimento e o agendamento periódico de tarefas KingbaseES.

10015

-

Nó OceanBase

Os nós OceanBase suportam o desenvolvimento e o agendamento periódico de tarefas OceanBase.

10016

-

Nó DB2

Os nós DB2 suportam o desenvolvimento e o agendamento periódico de tarefas DB2.

10017

-

Nó GBase 8a

Os nós GBase 8a suportam o desenvolvimento e o agendamento periódico de tarefas GBase 8a.

10018

-

Algoritmo

PAI Designer

Ferramenta de modelagem visual do PAI para implementar fluxos de trabalho de desenvolvimento de machine learning de ponta a ponta.

1117

PAI_STUDIO

PAI DLC

Serviço de treinamento baseado em contêineres do PAI para execução distribuída de tarefas de treinamento.

1119

PAI_DLC

PAI Flow

Fluxo de trabalho de índice de base de conhecimento do PAI / gera nós PAIFlow no lado do DataWorks.

1250

PAI_FLOW

Nó lógico

SUB_PROCESS node

Consolida múltiplos fluxos de trabalho em um todo unificado para gerenciamento e agendamento.

1122

SUB_PROCESS

Criar nós

Criar nós para fluxos de trabalho agendados

Se suas tarefas precisarem ser executadas automaticamente em intervalos especificados (como por hora, diariamente ou semanalmente), crie nós de tarefa agendada das seguintes formas: crie um nó de tarefa agendada independente, adicione nós internos a um fluxo de trabalho agendido ou clone um nó existente.

  1. Acesse a página Workspaces no console do DataWorks. Na barra de navegação superior, selecione a região desejada. Encontre o workspace desejado e escolha Shortcuts > Data Studio na coluna Actions.

  2. No painel de navegação à esquerda, clique em image para acessar a página do Data Studio.

Criar um nó de tarefa agendada

  1. Clique em image no lado direito do diretório do projeto, selecione New Node e, em seguida, selecione o node type desejado.

    Importante

    O sistema fornece uma lista Common Nodes e uma lista All Nodes. Selecione All Nodes na parte inferior para visualizar todos os tipos de nó disponíveis. Use a search box para encontrar nós rapidamente ou utilize os category filters (como MaxCompute, Integração de Dados e Geral) para localizar e criar o nó desejado.

    Crie diretórios antecipadamente para organizar e gerenciar nós.
  2. Defina o nome do nó e salve-o. A página de edição do nó será exibida em seguida.

Criar nós internos em um fluxo de trabalho agendado

  1. Crie um scheduled workflow.

  2. Na tela do fluxo de trabalho, clique em New Node na barra de ferramentas superior, selecione o node type desejado com base na tarefa que você precisa desenvolver e arraste-o para a tela.

  3. Defina o nome do nó e salve-o.

Criar um nó por clonagem

Use o recurso de clonagem para duplicar rapidamente um nó existente e criar um novo. O conteúdo clonado inclui as informações de Scheduling Settings do nó (Scheduling Parameters, Scheduling time e Scheduling Dependency).

  1. No Project Directory à esquerda, clique com o botão direito do mouse no nó que deseja clonar e selecione Cloning no menu de contexto.

  2. Na caixa de diálogo, modifique o Name e o Path do nó (ou mantenha os valores padrão) e clique em Confirm para iniciar a clonagem.

  3. Após a conclusão da clonagem, visualize o nó recém-criado no Project Directory.

Criar nós para fluxos de trabalho acionados manualmente

Se suas tarefas não precisarem ser executadas periodicamente, mas devam ser implantadas no ambiente de produção e executadas manualmente quando necessário, crie nós internos em um fluxo de trabalho acionado manualmente.

  1. Acesse a página Workspaces no console do DataWorks. Na barra de navegação superior, selecione a região desejada. Encontre o workspace desejado e escolha Shortcuts > Data Studio na coluna Actions.

  2. No painel de navegação à esquerda, clique em image para acessar a página de fluxo de trabalho acionado manualmente.

    1. Crie um manually triggered workflow.

    2. Na barra de ferramentas na parte superior da página de edição do fluxo de trabalho acionado manualmente, clique em New Internal Node e selecione o node type desejado com base na tarefa que você precisa desenvolver.

    3. Defina o nome do nó e salve-o.

Criar nós de tarefa manual

  1. Acesse a página Workspaces no console do DataWorks. Na barra de navegação superior, selecione a região desejada. Encontre o workspace desejado e escolha Shortcuts > Data Studio na coluna Actions.

  2. No painel de navegação à esquerda, clique em image para acessar a página de tarefa manual.

  3. Na seção inferior, clique em image no lado direito de Manually Triggered Task, selecione New Node e, em seguida, selecione o tipo de nó desejado.

    Nota

    As tarefas manuais suportam apenas os seguintes tipos de nó: Offline synchronization, Notebook, Maxcompute SQL, Maxcompute Script, Pyodps 2, Maxcompute MR, Hologres SQL, Python e Shell.

  4. Defina o nome do nó e salve-o. A página de edição do nó será exibida em seguida.

Edição em lote de nós

Quando um fluxo de trabalho contém muitos nós, abri-los um a um para edição é ineficiente. O DataWorks fornece o recurso Internal Node List, que exibe todos os nós em uma lista no lado direito da tela para visualização rápida, pesquisa e edição em lote.

Uso

  1. Na barra de ferramentas na parte superior da tela do fluxo de trabalho, clique no botão Show Internal Node List para abrir o painel de recursos no lado direito da tela.

    image

  2. Após a abertura do painel, todos os nós do fluxo de trabalho atual são exibidos em uma lista.

    • Visualização e classificação de código:

      • Nós que suportam edição de código (como MaxCompute SQL) expandem o editor de código por padrão.

      • Nós que não suportam edição de código (como nós virtuais) são exibidos como cartões e organizados automaticamente na parte inferior da lista.

    • Pesquisa rápida e navegação:

      • Pesquisa: Insira palavras-chave na caixa de pesquisa na parte superior para realizar uma busca aproximada por nomes de nó.

      • Vinculação: A vinculação bidirecional está disponível entre a tela e a barra lateral. Selecionar um nó na tela destaca o nó correspondente na barra lateral e vice-versa.

    • Edição online:

      • Ações: O canto superior direito de cada cartão de nó fornece ações rápidas como Load Latest Code, Open Node e Edit.

      • Salvamento automático: Após entrar no estado de edição, as alterações são salvas automaticamente quando o foco do mouse sai da área do bloco de código.

      • Detecção de conflitos: Se o código for atualizado por outro usuário durante a edição, uma notificação de falha no salvamento será acionada para evitar substituições acidentais.

    • Modo de foco:

      • Selecione um nó e clique em image no canto superior direito da janela flutuante para ativar o Focus Mode. A barra lateral exibe apenas o nó selecionado no momento, proporcionando mais espaço para edição de código.

Gerenciamento de versões

Restaure nós para uma versão histórica específica. O sistema também fornece recursos de visualização e comparação de versões para ajudar você a analisar diferenças e fazer ajustes.

  1. No Project Directory à esquerda, clique duas vezes no nome do nó de destino para acessar a página de edição do nó.

  2. Clique em Version no lado direito da página de edição do nó. Na página Version, visualize e gerencie as informações de Developer Record e Publish Record.

    • View uma versão:

      1. Na aba Developer Record ou Publish Record, localize a versão do nó que deseja visualizar.

      2. Clique em View na coluna Operation para acessar a página de detalhes, onde é possível visualizar o conteúdo do código do nó e as informações de Scheduling Settings.

        Nota

        As informações de Scheduling Settings podem ser visualizadas em Script Mode ou Visual Mode. Alterne entre os modos de visualização no canto superior direito da aba Scheduling Settings.

    • Compare versões:

      Na aba Developer Record ou Publish Record, compare diferentes versões de um nó. O exemplo a seguir usa o registro de desenvolvedor para demonstrar a operação de comparação.

      • Comparar dentro de registros de desenvolvimento ou implantação: Na aba Developer Record, selecione duas versões e clique no botão Select Comparison na parte superior para comparar o conteúdo do código do nó e as configurações de agendamento entre as versões.

      • Comparar entre registros de desenvolvimento e implantação ou build:

        1. Na aba Developer Record, localize a versão desejada do nó.

        2. Clique em Compare na coluna Operation e, na página de detalhes, selecione uma versão de Publish Record ou Build Records para comparar.

    • Restore uma versão:

      Restaure nós apenas do Developer Record para uma versão histórica específica. Na aba Developer Record, localize a versão de destino e clique em Restore na coluna Operation para restaurar o código do nó e as informações de Scheduling Settings para a versão de destino.

    • Referências

      Perguntas frequentes

      Posso baixar o código do nó (como SQL ou Python) para minha máquina local?

      • Resposta: Não há um recurso de download direto disponível. Copie o código para sua máquina local durante o desenvolvimento. Como alternativa, use develop in the personal directory no Data Studio e envie o código para o diretório do projeto, o que salva seu código localmente.