No DataWorks, você cria tarefas de desenvolvimento de dados como nós, e cada um encapsula uma tarefa para um mecanismo de computação específico. O DataStudio também permite desenvolver tarefas complexas com recursos, funções e diversos nós de processamento lógico. Este tópico apresenta o fluxo comum de desenvolvimento de dados.
Pré-requisitos
Vincule as fontes de dados necessárias. Para mais informações, consulte Preparação para o desenvolvimento de dados: Vincular um recurso ou cluster de computação.
Você deve ter a função Development. Para mais detalhes sobre como conceder permissões, consulte Adicionar membros ao workspace e gerenciar permissões de função dos membros.
Acessar o DataStudio
Faça login no console do DataWorks. Na região desejada, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.
O procedimento a seguir descreve como criar e gerenciar tarefas no DataStudio.
Fluxo de desenvolvimento
A figura abaixo ilustra o fluxo comum de desenvolvimento de dados.
|
Etapa |
Descrição |
Documentação relacionada |
|
Etapa 1: Criar um workflow |
No DataWorks, organize todas as tarefas de desenvolvimento e códigos em workflows. |
|
|
Etapa 2: Criar uma tabela |
O DataWorks oferece uma interface visual para criar e gerenciar tabelas, exibidas em uma estrutura de diretórios. Antes de iniciar o desenvolvimento de dados, crie tabelas no mecanismo para armazenar dados brutos e resultados limpos. O tipo de tabela depende do seu caso de uso. |
Criar e usar tabelas: Visualizar e gerenciar tabelas: |
|
Etapa 3: Criar e carregar um recurso (Opcional) |
Se o processo de desenvolvimento exigir recursos como arquivos de texto ou pacotes JAR, carregue-os e gerencie-os no DataWorks para uso com um mecanismo de computação específico. Nota
A interface do DataWorks exibe os mecanismos de computação e tipos de recursos compatíveis. |
|
|
Etapa 4: Criar um nó de agendamento |
No DataWorks, as tarefas são encapsuladas como nós. Cada tipo de nó corresponde a um mecanismo de computação específico. Selecione o tipo de nó adequado ao seu mecanismo e às necessidades do negócio. A plataforma também oferece operações de gerenciamento de nós, como clonar em lote por meio de grupos de nós e restaurar nós excluídos da lixeira. |
O DataWorks é compatível com vários mecanismos, incluindo: Cada mecanismo dispõe de diferentes tipos de nós para tarefas distintas. Para obter uma lista detalhada dos tipos de nós compatíveis, consulte Tipos de nós compatíveis. Para mais informações sobre o gerenciamento de nós, consulte os tópicos a seguir: |
|
Etapa 5: Referenciar um recurso em um nó (Opcional) |
Para usar um recurso em um nó, carregue-o primeiro no ambiente de execução do nó. |
|
|
Etapa 6: Registrar uma função (Opcional) |
Se o processo de desenvolvimento exigir uma função, registre-a pela interface visual do DataWorks. Antes de registrar a função, carregue os recursos necessários no DataWorks. Nota
A interface do DataWorks exibe os mecanismos de computação que permitem o registro de funções. |
|
|
Etapa 7: Editar o código do nó |
Na página de edição de nós, escreva o código de negócio com a sintaxe do mecanismo e banco de dados correspondentes. A sintaxe pode variar conforme o tipo de nó. Nota
Após concluir a edição do código, salve-o imediatamente ( |
Para obter uma lista detalhada dos tipos de nós compatíveis, consulte Tipos de nós compatíveis. Notas de uso para mecanismos comuns: |
) para evitar perda de dados.Próximas etapas
Após desenvolver uma tarefa, execute as operações abaixo conforme necessário:
Depure o código: Execute uma única tarefa ou um workflow inteiro para depuração. Para mais informações, consulte Processo de depuração de tarefas.
Configure o agendamento: Defina as propriedades de agendamento do nó para que ele seja executado periodicamente. Para mais informações, consulte Configurar agendamento para um nó.
Envie e implante o nó: Ao concluir o desenvolvimento, envie o nó para o ambiente alvo para execução agendada. Se você usar um workspace no modo padrão, após o envio bem-sucedido, implante o nó clicando em Deploy no canto superior direito. Para mais informações, consulte Implantar um nó.
Execute operações de O&M: Após a implantação, o nó aparece no Operation Center do ambiente de produção por padrão. Acesse o Operation Center para visualizar o status de execução do nó e realizar tarefas de O&M. Para mais informações, consulte Visão geral do Operation Center.