O DataWorks oferece diversos tipos de nós do MaxCompute e configurações flexíveis de agendamento para o desenvolvimento de tarefas. Este tópico descreve como criar e gerenciar nós do MaxCompute.
Pré-requisitos
Sua conta deve estar adicionada ao workspace com a função Development ou Workspace Administrator. A função Workspace Administrator possui permissões amplas — conceda-a com cautela. Add workspace members.
Criar um nó do MaxCompute
-
Faça login no console do DataWorks. Na região de destino, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.
-
Bind a MaxCompute compute resource para o workspace e create a workflow.
No Data Studio, os workflows organizam o desenvolvimento por mecanismo de computação. Crie um workflow antes de criar um nó.
-
O exemplo a seguir utiliza um nó ODPS SQL.
-
Clique com o botão direito em um workflow e escolha . Alternativamente, clique em Create na barra de menu superior e siga as instruções.
ImportanteSe a opção não estiver disponível, clique em Computing Resource no painel de navegação à esquerda para verificar se um recurso de computação do MaxCompute está vinculado. Vincule o recurso e atualize a página antes de criar nós do MaxCompute.
Na caixa de diálogo, insira um nome para o nó e clique em OK. O editor de nós será aberto para o desenvolvimento e configuração da tarefa.
-
Desenvolver tarefas do MaxCompute
A tabela a seguir descreve os tipos de nós do MaxCompute suportados.
A execução de uma tarefa do MaxCompute exibe uma estimativa de custo. O MaxCompute cobra essa taxa e o valor real aparece na sua fatura. MaxCompute billing items and methods.
Um erro na estimativa de custo geralmente indica que a tabela não existe ou que você não tem as permissões necessárias. É possível ignorar o erro e resolvê-lo durante a execução do nó.
|
Tipo |
Cenário |
Guia |
|
ODPS SQL |
Desenvolvimento de tarefas SQL do MaxCompute. |
|
|
SQL Snippet |
Desenvolvimento de tarefas SQL do MaxCompute. Caso vários procedimentos SQL compartilhem lógica semelhante, mas referenciem tabelas diferentes com estruturas idênticas ou compatíveis, abstraia a lógica comum em um modelo de script SQL e parametrize as tabelas de entrada e saída para reutilização. |
|
|
PyODPS 3 |
Desenvolvimento de tarefas PyODPS do MaxCompute. O nó PyODPS 3 é baseado em Python 3. |
|
|
PyODPS 2 |
Desenvolvimento de tarefas PyODPS do MaxCompute. O nó PyODPS 2 é baseado em Python 2. |
|
|
ODPS Spark |
Desenvolvimento de tarefas Spark do MaxCompute. |
|
|
ODPS Script |
Desenvolvimento de tarefas de script SQL do MaxCompute. |
|
|
ODPS MR |
Desenvolvimento de tarefas MapReduce do MaxCompute. |
Criar tabelas, recursos e funções
Além do desenvolvimento de tarefas, o DataWorks permite gerenciar tabelas, recursos e funções.
Capacidades de tabelas do MaxCompute: Utilize a interface gráfica do DataWorks para criar, visualizar e gerenciar tabelas. Create and use MaxCompute tables e Table management.
-
Capacidades de funções e recursos do MaxCompute:
As funções integradas do MaxCompute estão disponíveis diretamente no DataWorks. Use built-in functions.
Crie uma UDF como um recurso do MaxCompute e registre-a como função para uso direto nas tarefas. Create and use MaxCompute resources e Create and use user-defined functions.
-
Faça upload de pacotes de recursos locais ou crie recursos diretamente no DataWorks.
Os tipos de recursos suportados incluem arquivos de texto, código Python e pacotes compactados (.zip, .tgz, .tar.gz, .tar e .jar). UDFs e jobs MapReduce podem ler esses recursos durante a execução. Create and use MaxCompute resources.
Próximos passos
Após desenvolver um nó, realize as operações abaixo conforme necessário:
Configuração de agendamento: Defina propriedades de agendamento periódico, como configurações de nova execução e dependências para tarefas executadas regularmente. Overview of task scheduling configuration.
Depuração de tarefas: Teste e execute o código do nó para validar sua lógica. Task debugging process.
Implantação de tarefas: Implante os nós para executá-los periodicamente com base nas configurações de agendamento. Deploy tasks.