Para executar um job do MaxCompute periodicamente, use o DataStudio no console do DataWorks. Desenvolva o job em um nó com gatilho automático e configure os parâmetros relacionados, como propriedades de tempo e dependências de agendamento. Em seguida, envie o job do MaxCompute para o Operation Center do DataWorks para agendamento periódico. Este tópico descreve como desenvolver um job com agendamento periódico no console do DataWorks.
Fluxo de trabalho de desenvolvimento
A figura a seguir ilustra o fluxo básico de desenvolvimento de um job do MaxCompute no console do DataWorks. 
Um workspace do DataWorks pode operar no modo básico ou no modo padrão. No modo padrão, um workspace do DataWorks se associa a um projeto do MaxCompute no ambiente de produção e a outro no ambiente de desenvolvimento. A figura acima utiliza um workspace do DataWorks no modo padrão.
Considere os pontos a seguir:
Cada tipo de job é executado em um tipo específico de nó. A tabela abaixo detalha os tipos de nós disponíveis.
|
Tipo de nó |
Descrição |
|
Nó ODPS SQL |
Executa jobs baseados em SQL no MaxCompute |
|
Nó ODPS Spark |
Executa jobs baseados em Spark no MaxCompute |
|
Nó PyODPS |
Executa jobs baseados em Python no MaxCompute |
|
Nó geral |
Implementa lógicas de job complexas, como loops e travessias |
O DataStudio permite criar tabelas, registrar funções e criar recursos do MaxCompute, o que aumenta a eficiência do desenvolvimento.
Faturamento
Ao criar nós de sincronização e processamento de dados relacionados ao MaxCompute no DataStudio e ativar o agendamento periódico no Operation Center, você incorre em cobranças tanto pelos recursos do DataWorks quanto pelos recursos de outros serviços da Alibaba Cloud.
Taxas de recursos do DataWorks
Sua fatura do DataWorks inclui as seguintes cobranças. Para obter a lista completa de itens faturáveis, consulte Visão geral do faturamento.
|
Tipo de taxa |
Descrição |
|
Taxas da edição do DataWorks |
Ative o DataWorks antes de desenvolver nós. Caso utilize uma edição avançada, como o DataWorks Enterprise Edition, a cobrança ocorre no momento da compra. |
|
Taxas de recursos de agendamento |
Após o desenvolvimento dos nós, são necessários recursos de agendamento para executá-los. Adquira grupos de recursos para agendamento conforme sua necessidade: grupos de recursos exclusivos por assinatura ou o grupo de recursos compartilhados para agendamento com pagamento conforme o uso. |
|
Taxas de recursos de sincronização de dados |
Um nó de sincronização de dados consome recursos de agendamento e de sincronização. Adquira grupos de recursos para o Data Integration conforme sua necessidade: grupos de recursos exclusivos por assinatura ou o grupo de recursos compartilhados para Data Integration (depuração) com pagamento conforme o uso. |
Não há cobrança de taxas de agendamento ao executar nós clicando em Execute ou Execute with Parameters na barra de ferramentas superior da página do DataStudio.
Nós com falha ou nós em execução simulada (dry-run) não geram taxas de agendamento.
Para mais detalhes sobre o cálculo das taxas de agendamento, consulte Lógica de emissão de nós de agendamento no DataWorks.
Taxas de outros serviços da Alibaba Cloud
As taxas a seguir não constam na sua fatura do DataWorks.
Essas cobranças seguem a lógica de faturamento dos respectivos serviços da Alibaba Cloud. Por exemplo, para detalhes sobre o faturamento do mecanismo de computação do MaxCompute, consulte Itens faturáveis do MaxCompute.
A execução de nós no DataWorks pode gerar taxas de outros serviços da Alibaba Cloud, incluindo, mas não se limitando a:
|
Tipo de taxa |
Descrição |
|
Taxas de banco de dados |
A execução de nós de sincronização de dados para leitura ou gravação em bancos de dados pode gerar taxas de banco de dados. |
|
Taxas de computação e armazenamento |
A execução de nós em um mecanismo de computação específico pode gerar taxas de computação e armazenamento. Por exemplo, executar um nó ODPS SQL para criar uma tabela do MaxCompute e gravar dados nela pode incorrer em taxas de computação e armazenamento do MaxCompute. |
|
Taxas de serviço de rede |
Estabelecer conexões de rede entre o DataWorks e outros serviços pode gerar taxas de rede. Por exemplo, utilizar Express Connect, Elastic IP Address (EIP) ou EIP Bandwidth Plan para conectar o DataWorks a outros serviços pode incorrer em taxas de rede. |
Gerenciamento de permissões
O DataWorks oferece um sistema abrangente de gerenciamento de permissões que abrange tanto permissões no nível do produto quanto no nível do módulo. No console do DataWorks, é possível solicitar e processar permissões em recursos do mecanismo de computação do MaxCompute.
Compreensão do modelo de identidade de execução
Os jobs no DataWorks são executados em nome de uma identidade de execução, e a identidade utilizada depende do ambiente:
Ambiente de desenvolvimento: A identidade pessoal do executor do nó é usada por padrão. Usuários RAM recebem automaticamente permissões para o projeto do MaxCompute no ambiente de desenvolvimento quando lhes é atribuída uma função no nível do workspace.
Ambiente de produção: Uma conta da Alibaba Cloud serve como identidade de acesso ao agendamento. Usuários RAM não possuem permissões no ambiente de produção por padrão e devem solicitar acesso por meio do Security Center.
Essa separação significa que a conta pessoal de um usuário RAM tem acesso automático ao ambiente de desenvolvimento, mas precisa solicitar explicitamente o acesso ao ambiente de produção.
Permissões de acesso a dados
Use um nó ODPS SQL ou de consulta ad hoc para consultar dados em tabelas do MaxCompute. Este tópico utiliza um workspace do DataWorks no modo padrão. No modo básico, não há suporte para gerenciamento granular de permissões nem isolamento entre os ambientes de desenvolvimento e produção.
A tabela a seguir descreve as permissões dos usuários RAM no MaxCompute após serem adicionados a um workspace e receberem funções no nível do workspace.
|
Tipo de permissão |
Descrição |
|
Permissões em um projeto do MaxCompute no ambiente de desenvolvimento |
Ao atribuir uma função integrada no nível do workspace a um usuário RAM e associar um projeto do MaxCompute ao workspace no ambiente de desenvolvimento, o usuário RAM recebe automaticamente as permissões da função mapeada. Por padrão, o usuário RAM possui permissões no ambiente de desenvolvimento, mas não no ambiente de produção. |
|
Permissões em um projeto do MaxCompute no ambiente de produção |
A identidade de acesso ao agendamento possui amplas permissões no projeto do MaxCompute de produção. Outros usuários RAM não têm permissões por padrão. Para acessar tabelas do MaxCompute no ambiente de produção, acesse o Security Center e solicite as permissões necessárias. O DataWorks fornece um procedimento padrão para processamento de solicitações e permite que usuários com permissões de gerenciamento o personalizem. |
Para mais informações, consulte Gerenciar permissões em dados de uma instância do mecanismo de computação do MaxCompute.
Acesso a tabelas entre projetos
O MaxCompute permite consultar tabelas em diferentes projetos especificando o nome do projeto no DataStudio. A tabela a seguir descreve os métodos de acesso e as contas de execução utilizadas em cada ambiente.
Na seção Compute Engine Information da página Workspace Management , visualize os projetos do MaxCompute associados ao workspace e as contas usadas para configurar cada ambiente. Para mais informações, consulte Associar um mecanismo de computação do MaxCompute a um workspace .
No ambiente de desenvolvimento, a identidade pessoal do executor do nó executa os nós por padrão. No ambiente de produção, a identidade de acesso ao agendamento (uma conta da Alibaba Cloud) executa os nós. Para mais informações, consulte Associar um mecanismo de computação do MaxCompute a um workspace .
| Código de exemplo | Conta de execução no ambiente de desenvolvimento (DataStudio e Operation Center no ambiente de desenvolvimento) | Conta de execução no ambiente de produção (Operation Center no ambiente de produção) |
|---|---|---|
Acessar tabelas no projeto do MaxCompute do ambiente de desenvolvimento: |
A conta pessoal da Alibaba Cloud do executor do nó. Se um usuário RAM executar o nó, a conta desse usuário será utilizada. Se uma conta da Alibaba Cloud executar o nó, essa conta será utilizada. | A identidade de acesso ao agendamento. |
Acessar tabelas no projeto do MaxCompute do ambiente de produção: |
A conta pessoal da Alibaba Cloud do executor do nó. Importante
Devido aos controles de segurança nos dados de produção, contas pessoais não podem acessar tabelas de produção por padrão. Acesse o Security Center para solicitar as permissões necessárias. |
A identidade de acesso ao agendamento. |
Acessar tabelas usando o projeto do ambiente atual: |
Se a instrução for executada no ambiente de desenvolvimento, a conta pessoal da Alibaba Cloud do executor do nó será usada para acessar as tabelas desse ambiente. | Se a instrução for executada no ambiente de produção, a identidade de acesso ao agendamento será usada para acessar as tabelas desse ambiente. |
Permissões de serviço e recurso
Antes que um usuário RAM desenvolva dados no DataWorks, atribua-lhe uma função no nível do workspace para conceder as permissões necessárias. Para mais informações, consulte Práticas recomendadas para gerenciar permissões de usuários RAM.
Use a autorização baseada em políticas do RAM para gerenciar permissões nos módulos de serviço do DataWorks — por exemplo, impedir que usuários acessem o DataMap ou permitir que excluam um workspace.
Use o controle de acesso baseado em função (RBAC) para gerenciar permissões nos módulos no nível do workspace (como operações de desenvolvimento no DataStudio) e nos módulos no nível global (como impedir o acesso ao Data Security Guard).
