O DataWorks oferece diversos tipos de nós do MaxCompute e configurações flexíveis de agendamento para o desenvolvimento de tarefas. Este tópico aborda como criar e gerenciar nós do MaxCompute.
Pré-requisitos
Sua conta deve estar adicionada ao workspace com a função Development ou Workspace Administrator. A função Workspace Administrator possui permissões amplas — conceda-a com cautela. Adicionar membros ao workspace.
Crie um nó do MaxCompute
-
Faça login no console do DataWorks. Na região desejada, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.
-
Vincule um recurso de computação do MaxCompute ao workspace e crie um workflow.
No Data Studio, os workflows organizam o desenvolvimento por mecanismo de computação. Crie um workflow antes de criar um nó.
-
O exemplo a seguir utiliza um nó ODPS SQL.
-
Clique com o botão direito em um workflow e escolha . Alternativamente, clique em Create na barra de menu superior e siga as instruções.
ImportanteSe a opção não estiver disponível, clique em Computing Resource no painel de navegação à esquerda para verificar se um recurso de computação do MaxCompute está vinculado. Vincule o recurso e atualize a página antes de criar nós do MaxCompute.
-
Na caixa de diálogo, insira um nome para o nó e clique em OK. O editor de nós será aberto para o desenvolvimento e configuração da tarefa.
-
Desenvolver tarefas do MaxCompute
A tabela a seguir lista os tipos de nós do MaxCompute suportados.
A execução de uma tarefa do MaxCompute exibe uma estimativa de custo. O MaxCompute cobra essa taxa, e o valor real aparece na sua fatura. Itens e métodos de faturamento do MaxCompute.
Um erro na estimativa de custo geralmente indica que a tabela não existe ou que você não tem as permissões necessárias. É possível ignorar o erro e resolvê-lo durante a execução do nó.
|
Tipo |
Cenário |
Guia |
|
ODPS SQL |
Desenvolvimento de tarefas SQL do MaxCompute. |
|
|
SQL Snippet |
Desenvolvimento de tarefas SQL do MaxCompute. Quando vários procedimentos SQL compartilham lógica semelhante, mas referenciam tabelas diferentes com estruturas idênticas ou compatíveis, é possível abstrair a lógica comum em um SQL Snippet e parametrizar as tabelas de entrada e saída para reutilização. |
|
|
PyODPS 3 |
Desenvolvimento de tarefas PyODPS do MaxCompute. O nó PyODPS 3 é baseado em Python 3. |
|
|
PyODPS 2 |
Desenvolvimento de tarefas PyODPS do MaxCompute. O nó PyODPS 2 é baseado em Python 2. |
|
|
ODPS Spark |
Desenvolvimento de tarefas Spark do MaxCompute. |
|
|
ODPS Script |
Desenvolvimento de tarefas de script SQL do MaxCompute. |
|
|
ODPS MR |
Desenvolvimento de tarefas MapReduce do MaxCompute. |
Crie tabelas, recursos e funções
Além do desenvolvimento de tarefas, o DataWorks suporta tabelas, recursos e funções para maior eficiência.
Capacidades de tabelas do MaxCompute: Utilize a interface gráfica do DataWorks para criar, visualizar e gerenciar tabelas. Criar e usar tabelas do MaxCompute e Gerenciamento de tabelas.
-
Capacidades de funções e recursos do MaxCompute:
As funções integradas do MaxCompute estão disponíveis diretamente no DataWorks. Usar funções integradas.
É possível criar uma UDF como um recurso do MaxCompute e registrá-la como função para uso direto nas tarefas. Criar e usar recursos do MaxCompute e Criar e usar funções definidas pelo usuário.
-
Você pode fazer upload de pacotes de recursos locais ou criar recursos diretamente no DataWorks.
Os tipos de recursos suportados incluem arquivos de texto, código Python e pacotes compactados (.zip, .tgz, .tar.gz, .tar e .jar). UDFs e jobs MapReduce podem ler esses recursos durante a execução. Criar e usar recursos do MaxCompute.
Próximas etapas
Após o desenvolvimento, prossiga com as seguintes operações:
Configuração de agendamento: Configure propriedades de agendamento periódico, como definições de nova execução e dependências para tarefas executadas regularmente. Visão geral da configuração de agendamento de tarefas.
Depuração de tarefas: Teste e execute o código do nó para verificar sua lógica. Processo de depuração de tarefas.
Implantação de tarefas: Implante nós para executá-los periodicamente com base em suas configurações de agendamento. Implantar tarefas.