O DataStudio (Desenvolvimento de Dados do DataWorks) oferece diversos tipos de nó para atender às suas necessidades de processamento de dados, incluindo nós de integração de dados, nós de recursos de computação como ODPS SQL, Hologres SQL e EMR Hive, além de nós de uso geral, como nós virtuais e nós Check.
Caso não consiga crie um nó de recurso de computação, como ODPS SQL, Hologres SQL ou EMR Hive, no Desenvolvimento de Dados, clique em Computing Resource no painel de navegação à esquerda para verificar se o recurso de computação correspondente está anexado. Se o recurso estiver anexado, mas a criação do nó ainda falhar, atualize a página para renovar os dados em cache. Você também pode tentar ative o modo anônimo no navegador.
Nós de sincronização de dados
|
Nó de integração de dados |
Uso |
Código do nó |
TaskType |
|
Sincroniza dados offline (em lote) periodicamente. Suporta a sincronização entre diversas fontes de dados distintas em cenários complexos. Para mais informações sobre as fontes de dados compatíveis com a sincronização offline, consulte Supported data sources and synchronization solutions. |
23 |
DI |
|
|
Sincroniza dados incrementais em tempo real. Inclui três plug-ins básicos: leitura em tempo real, transformação e gravação. Esses plug-ins interagem por meio de um formato de dados intermediário defina. Para mais detalhes sobre as fontes de dados compatíveis com a sincronização em tempo real, consulte Supported data sources and synchronization solutions. |
900 |
RI |
Além dos nós criados na interface do DataStudio (Desenvolvimento de Dados), o site principal do Data Integration oferece suporte a vários tipos de soluções de sincronização. Exemplos incluem a sincronização em tempo real de dados completos e incrementais, bem como a sincronização offline de bancos de dados inteiros. Para mais informações, consulte Synchronization task capabilities in Data Integration. O código para tarefas no site principal do Data Integration é tipicamente 24.
Nós de computação de mecanismo
Em um fluxo de trabalho de negócios, crie um nó correspondente a um mecanismo específico. Utilize esse nó para o desenvolvimento de dados e envie o código ao mecanismo de computação apropriado para execute.
|
Mecanismo integrado ao DataWorks |
Como o DataWorks encapsula as capacidades do mecanismo |
Código do nó |
TaskType |
|
MaxCompute |
10 |
ODPS_SQL |
|
|
225 |
ODPS_SPARK |
||
|
221 |
PY_ODPS |
||
|
1221 |
PYODPS3 |
||
|
24 |
ODPS_SQL_SCRIPT |
||
|
11 |
ODPS_MR |
||
|
1010 |
COMPONENT_SQL |
||
|
E-MapReduce |
227 |
EMR_HIVE |
|
|
230 |
EMR_MR |
||
|
229 |
EMR_SPARK_SQL |
||
|
228 |
EMR_SPARK |
||
|
257 |
EMR_SHELL |
||
|
259 |
EMR_PRESTO |
||
|
260 |
EMR_IMPALA |
||
|
264 |
EMR_SPARK_STREAMING |
||
|
268 |
EMR_KYUUBI |
||
|
267 |
EMR_TRINO |
||
|
EMR JAR |
231 |
EMR_JAR |
|
|
EMR File |
232 |
EMR_FILE |
|
|
CDH |
270 |
CDH_HIVE |
|
|
271 |
CDH_SPARK |
||
|
273 |
CDH_MR |
||
|
278 |
CDH_PRESTO |
||
|
279 |
CDH_IMPALA |
||
|
272 |
CDH_SPARK_SQL |
||
|
AnalyticDB for PostgreSQL |
- |
- |
|
|
AnalyticDB for MySQL |
1000126 |
- |
|
|
Hologres |
1093 |
HOLOGRES_SQL |
|
|
1094 |
HOLOGRES_SYNC_DDL |
||
|
1095 |
HOLOGRES_SYNC_DATA |
||
|
ClickHouse |
1301 |
CLICK_SQL |
|
|
Algoritmo (machine learning) |
1117 |
PAI_STUDIO |
|
|
1119 |
PAI_DLC |
||
|
Banco de dados |
1000125 |
- |
|
|
10001 |
- |
||
|
10002 |
- |
||
|
10003 |
- |
||
|
10004 |
- |
||
|
10005 |
- |
||
|
10006 |
- |
||
|
10007 |
- |
||
|
10008 |
- |
||
|
10009 |
- |
||
|
10010 |
- |
||
|
10011 |
- |
||
|
10012 |
- |
||
|
10013 |
- |
||
|
10014 |
- |
||
|
10015 |
- |
||
|
10016 |
- |
||
|
10017 |
- |
||
|
10018 |
- |
||
|
Outros |
1000023 |
- |
Nós de uso geral
Combine nós de mecanismo com nós de uso geral para lidar com lógicas complexas. Em um fluxo de trabalho de negócios, crie os nós necessários no grupo de nós de uso geral e combine-os com nós de mecanismo para implementar essa lógica.
|
Cenário de negócios |
Tipo de nó |
Notas de uso |
Código do nó |
TaskType |
|
Gestão de negócios |
Atua como um nó do plano de controle. É um nó de execução simulada (dry-run) que não gera dados. Frequentemente serve como nó raiz de um fluxo de trabalho de negócios para facilitar o gerencie de nós e fluxos. |
99 |
VIRTUAL |
|
|
Disparo de eventos |
Aciona uma tarefa no DataWorks após a conclusão de uma tarefa em outro sistema de agendamento. Nota
O DataWorks não suporta mais a criação de nós de colaboração entre locatários. Caso utilize esses nós, substitua-os por nós de disparo HTTP, que oferecem os mesmos recursos. |
1114 |
SCHEDULER_TRIGGER |
|
|
Aciona a execução de nós descendentes ao monitorar a criação de objetos no OSS. |
239 |
OSS_INSPECT |
||
|
Inicia a execução de nós descendentes ao monitorar a criação de arquivos FTP. Nota
A recomendação oficial do DataWorks é utilizar um Check node em vez de um nó FTP Check. |
1320 |
FTP_CHECK |
||
|
Verifica se um objeto alvo está ativo. Quando o nó Check atende à política de verificação, retorna um estado de execução bem-sucedida. Se houver dependências downstream, as tarefas descendentes serão acionadas. Os seguintes objetos alvo podem ser verificados:
|
241 |
CHECK_NODE |
||
|
Permite comparar dados de diferentes tabelas em um fluxo de trabalho de várias maneiras. |
1331 |
DATA_SYNCHRONIZATION_QUALITY_CHECK |
||
|
Atribuição e passagem de parâmetros |
Transfere parâmetros. A saída integrada do nó de atribuição envia o resultado da última consulta ou saída para os nós descendentes por meio do recurso de contexto de nó, permitindo a passagem de parâmetros entre nós. |
1100 |
CONTROLLER_ASSIGNMENT |
|
|
Agrupa parâmetros de nós ancestrais e os distribui para os nós descendentes. |
1115 |
PARAM_HUB |
||
|
Controle |
Percorre o conjunto de resultados transmitido por um nó de atribuição. |
1106 |
CONTROLLER_TRAVERSE |
|
|
Repete a execução de determinada lógica de nó em loop. Também pode ser usado com um nó de atribuição para iterar sobre a saída do resultado passado por esse nó. |
1103 |
CONTROLLER_CYCLE |
||
|
Avalia o resultado de um nó ancestral e determina qual lógica de ramificação seguir para diferentes resultados. Pode ser combinado com um nó de atribuição. |
1101 |
CONTROLLER_BRANCH |
||
|
Consolida os estados de execução dos nós ancestrais. Resolve problemas relacionados à associação de dependências e ao disparo de execução para nós descendentes de um nó de ramificação. |
1102 |
CONTROLLER_JOIN |
||
|
Outros |
Suporta sintaxe Shell padrão, mas não aceita sintaxe interativa. |
6 |
DIDE_SHELL |
|
|
Agenda e processa periodicamente funções de eventos, além de permitir integração e agendamento conjunto com outros tipos de nó. |
1330 |
FUNCTION_COMPUTE |
||
|
Envia dados de consulta de um fluxo de trabalho de negócios para grupos do DingTalk, Lark, WeCom e Teams, permitindo que os membros da equipe recebam e acompanhem prontamente os dados mais recentes. |
1332 |
DATA_PUSH |