Utilize o DataWorks com MaxCompute para construir um data warehouse offline e um sistema de análise. Configure visualmente fluxos de trabalho de tarefas, agende jobs periódicos e gerencie metadados em um único local.
Pré-requisitos
O DataWorks está ativado. Para mais informações, consulte Ativar o DataWorks.
O MaxCompute está ativado. Para mais informações, consulte Activate MaxCompute.
Um workspace do DataWorks foi criado. Para mais informações, consulte Create a workspace.
Observações de uso
A tabela abaixo descreve os principais tópicos de desenvolvimento.
|
Categoria |
Descrição |
|
O desenvolvimento de tarefas do MaxCompute no DataWorks gera custos tanto do DataWorks quanto dos services relacionados. |
|
|
Antes de desenvolver tarefas do MaxCompute no DataWorks, adquira a edição do DataWorks e os grupos de recursos necessários para suas necessidades de negócios e associe a source de dados do MaxCompute. |
|
|
O DataWorks oferece gerenciamento de permissões no nível do product e do módulo, além de suportar solicitações e aprovações visuais de permissões para sources de dados do MaxCompute. |
|
|
O Data Integration lê e grava dados no MaxCompute, suportando sincronização em lote, em tempo real, completa e incremental. |
|
|
O DataWorks fornece o service Data Modeling para estruturar e gerenciar grandes volumes de dados complexos e desorganizados. Também disponibiliza o recurso DataStudio para desenvolver tarefas de agendamento. O DataStudio funciona em conjunto com o Operation Center para monitorar e manter essas tarefas. |
|
|
O DataWorks oferece gerenciamento de metadados e governança de dados para o MaxCompute. |
|
|
O DataAnalysis proporciona análise de dados e compartilhamento de services para o MaxCompute. |
|
|
O DataWorks disponibiliza capacidades abertas que permitem integrar rapidamente diversos sistemas de aplicações. Isso facilita o controle do processo de desenvolvimento, a governança de dados e as operações de O&M, ajudando você a responder prontamente a alterações de status nos negócios provenientes dos sistemas integrados. |
Faturamento
O DataStudio e o Operation Center permitem agendar periodicamente tarefas de sincronização e processamento de dados do MaxCompute. Esses recursos geram as seguintes cobranças.
1. Custos do DataWorks
Estas cobranças aparecem na sua fatura do DataWorks. Para mais detalhes sobre o faturamento do DataWorks, consulte Billable items of DataWorks.
Cobrança | Descrição |
Taxa da edição do DataWorks | Para desenvolver tarefas, é necessário ativar o DataWorks. As edições Standard, Professional e Enterprise exigem uma assinatura paga. |
Taxa de recursos de agendamento | As tarefas necessitam de recursos de agendamento para serem executadas conforme o cronograma. Utilize um grupo de recursos serverless (recomendado) ou um grupo de recursos exclusivo da versão anterior. Nota Um grupo de recursos serverless pode ser utilizado tanto para agendamento de tarefas quanto para sincronização de dados. |
Taxa de recursos de sincronização | Tarefas de sincronização de dados exigem recursos dedicados de sincronização, além dos recursos de agendamento. Use um grupo de recursos serverless (recomendado) ou um grupo de recursos exclusivo da versão anterior para integração de dados. |
Não há cobrança de taxas de agendamento para tarefas executadas por meio dos recursos Run ou Run with Parameters na página do DataStudio.
Tarefas que falham na execução ou são rodadas como simulação (dry run) não geram custos de agendamento.
Para entender melhor os detalhes de faturamento e como o DataWorks despacha tarefas de agendamento, consulte How DataWorks dispatches scheduling tasks.
2. Custos não relacionados ao DataWorks
Estas cobranças não constam na fatura do DataWorks. Você pode incorrer nos seguintes custos ao desenvolver e executar tarefas:
As taxas de outros services seguem suas próprias regras de faturamento. Para detalhes, consulte a documentação de faturamento de cada service. Para o faturamento do MaxCompute, consulte Billable items of MaxCompute.
|
Taxa |
Descrição |
|
Taxas de banco de dados |
A leitura ou gravação em bancos de dados upstream e downstream durante a sincronização de dados pode gerar taxas de banco de dados. |
|
Taxas de computação e armazenamento |
A execução de uma tarefa em um mecanismo de computação pode resultar em custos de computação e armazenamento. Por exemplo, uma tarefa SQL do MaxCompute que cria uma tabela e grava dados gera taxas de computação e armazenamento do MaxCompute. |
|
Taxas de service de rede |
Conexões de rede entre o DataWorks e services relacionados podem gerar custos. Por exemplo, o uso do Express Connect, Internet Shared Bandwidth ou Elastic IP Address (EIP) resulta em cobranças dos services correspondentes. |
Preparação do ambiente
1. Preparação de recursos
O DataWorks oferece as edições Standard, Professional e Enterprise, além de grupos de recursos serverless específicos para tenants. Selecione a edição e o grupo de recursos que atendem às suas necessidades.
Categoria | Descrição | Documentação relacionada |
Seleção de edição | A Basic Edition do DataWorks cobre migração básica de dados, desenvolvimento, agendamento e governança simples de dados para o MaxCompute. Para recursos avançados de governança e segurança de dados, selecione a edição Standard, Professional ou Enterprise. | |
Seleção de grupo de recursos |
|
2. Preparação do ambiente de desenvolvimento
Crie um projeto do MaxCompute como source de dados para um workspace do DataWorks, associe-o ao DataStudio e, opcionalmente, adicione membros ao workspace para desenvolvimento colaborativo.
Categoria | Descrição | Documentação relacionada |
Ambiente de sincronização de dados | Antes de executar tarefas de sincronização do MaxCompute, adicione o projeto do MaxCompute como uma source de dados ao workspace. Em seguida, execute tarefas de sincronização nesse projeto. | |
Ambiente de desenvolvimento e análise de dados | Antes de executar tarefas de agendamento do MaxCompute, adicione o projeto do MaxCompute como source de dados ao workspace e associe-o ao DataStudio. Após a associação, desenvolva, analise e agende tarefas periodicamente. | |
Ambiente de desenvolvimento colaborativo | Para permitir que usuários RAM colaborem no desenvolvimento dentro de um workspace, adicione-os como membros do workspace e atribua uma função relacionada ao desenvolvimento. |
Gerenciamento de permissões
O DataWorks suporta gerenciamento de permissões nos níveis de product e módulo, com solicitações e aprovações visuais de permissões para sources de dados do MaxCompute. As seções a seguir detalham o gerenciamento de permissões.
1. Acesso a dados e gerenciamento de permissões
Consulte dados de tabelas do MaxCompute usando um nó SQL do MaxCompute ou um nó de consulta ad hoc. Um workspace em basic mode não suporta gerenciamento de permissões granular nem isolamento entre ambientes de desenvolvimento e produção. O exemplo a seguir utiliza um workspace em standard mode.
-
Permissões padrão
Após adicionar um usuário RAM a um workspace, suas permissões padrão de acesso a dados são:
Tipo de permissão
Descrição
Permissões do projeto de desenvolvimento do MaxCompute
O DataWorks mapeia funções predefinidas no nível do workspace para funções da source de dados do MaxCompute no ambiente de desenvolvimento. Um usuário RAM com uma função no workspace herda as permissões da função mapeada na source de dados. Por padrão, o usuário RAM tem permissões no projeto de desenvolvimento, mas não no projeto de produção.
Permissões do projeto de produção do MaxCompute
Apenas usuários RAM com identidade de acesso de agendamento concedida possuem amplas permissões no projeto do MaxCompute no ambiente de produção. Outros usuários RAM não têm permissões no projeto de produção. Para operar em tabelas de produção, acesse Security Center para solicitar permissões.
O DataWorks fornece um fluxo de aprovação padrão e também permite que administradores personalizem os fluxos de trabalho de aprovação.
Para mais informações sobre o controle de acesso a dados do MaxCompute, consulte MaxCompute data permission management.
-
Comportamento de acesso a dados
O MaxCompute suporta consultas de tabelas entre projetos. No DataStudio, consulte dados de produção em diferentes projetos especificando o nome do projeto. A tabela a seguir descreve o acesso a tabelas entre projetos e as contas utilizadas.
NotaVisualize as sources de dados criadas para diferentes ambientes e as contas de execução configuradas nas informações da source de dados do workspace. Para mais informações, consulte Associate a MaxCompute compute engine with a workspace.
Em um workspace do DataWorks no modo padrão, as tarefas no ambiente de desenvolvimento são executadas usando a identidade pessoal de um executor de tarefas por padrão. As tarefas no ambiente de produção são executadas usando uma conta específica da Alibaba Cloud, que corresponde à identidade de acesso de agendamento. Para mais informações, consulte Associate a MaxCompute compute engine with a workspace.
Exemplo de código
Execução em desenvolvimento
Execução em produção
Acessar uma tabela de desenvolvimento em um projeto de desenvolvimento:
select col1 from projectname_dev.tablename;A conta pessoal da Alibaba Cloud do executor de tarefas acessa a tabela de desenvolvimento.
Se um usuário RAM executar a tarefa, será usada a conta pessoal desse usuário RAM.
Se a conta principal da Alibaba Cloud executar a tarefa, essa conta será utilizada.
A identidade de acesso de agendamento acessa a tabela de desenvolvimento.
Acessar uma tabela de produção em um projeto de produção:
select col1 from projectname.tablename;A conta pessoal da Alibaba Cloud do executor de tarefas acessa a tabela de produção.
NotaPor padrão, contas pessoais não têm permissão para acessar tabelas de produção devido a controles de segurança. Acesse Security Center para solicitar permissão. O DataWorks oferece um processo de aprovação padrão e também suporta fluxos de trabalho de aprovação personalizados.
A identidade de acesso de agendamento acessa a tabela de produção.
Acessar uma tabela no ambiente atual (por exemplo, uma tabela de desenvolvimento no ambiente de desenvolvimento):
select col1 from tablename;Ao executar no ambiente de desenvolvimento, a tarefa usa a conta pessoal da Alibaba Cloud do executor para acessar a tabela alvo na source de dados de desenvolvimento.
Ao executar no ambiente de produção, a tarefa usa a identidade de acesso de agendamento para acessar a tabela alvo na source de dados de produção.
2. Gerenciamento de permissões de módulos de recursos
Antes de iniciar o desenvolvimento de dados, assign workspace roles to users para conceder as permissões operacionais adequadas. Os seguintes modelos de permissão estão disponíveis:
O modelo RAM policy-based authorization gerencia permissões em módulos de recursos do DataWorks (por exemplo, negar acesso ao Data Map) e operações no console (por exemplo, permitir que usuários excluam workspaces).
O RBAC model gerencia permissões em módulos no nível do workspace (por exemplo, permitir que usuários acessem o DataStudio para desenvolvimento) e módulos globais (por exemplo, negar acesso ao módulo Data Security Guard).
Primeiros passos
O DataWorks oferece diversos módulos de recursos. Desenvolva tarefas de agendamento no DataStudio e, em seguida, monitore-as e gerencie-as no Operation Center. O DataWorks também fornece controle do processo de desenvolvimento para padronizar operações e garantir a segurança.
1. Data Integration
O Data Integration lê e grava dados no MaxCompute. Sincronize dados entre o MaxCompute e outras sources de dados em modos de lote, tempo real, completo ou incremental. Para mais informações, consulte Data Integration.
2. Desenvolvimento de dados e O&M
Módulo | Descrição | Documentação relacionada |
Data Modeling | Utilizando a metodologia de plataforma intermediária de dados da Alibaba, ajuda a definir o plano do data warehouse, padrões de dados, modelos dimensionais e métricas de dados. Isso permite que as empresas compreendam e utilizem dados de forma rápida e consistente. | |
DataStudio | O DataWorks encapsula as capacidades do mecanismo de computação do MaxCompute, permitindo a execução de tarefas de sincronização e desenvolvimento de dados.
|
|
Combine nós de uso geral e nós de mecanismo de computação para lidar com lógicas complexas. Os principais nós incluem:
| ||
Após desenvolver uma tarefa de nó, realize as seguintes operações conforme necessário:
| ||
Operation Center | O Operation Center é uma plataforma unificada de O&M e monitoramento para tarefas de big data. Oferece monitoramento em tempo real do status das tarefas, diagnóstico inteligente e reexecução para tarefas anômalas. Seu recurso de linha de base inteligente ajuda a garantir a entrega pontual das tarefas, lidando com tempos de conclusão imprevisíveis e simplificando o monitoramento de tarefas em grande escala. | |
Data Quality | O Data Quality garante a disponibilidade dos dados durante todo o ciclo de vida do desenvolvimento. Ao validar eficientemente regras de qualidade de dados e integrar-se estreitamente ao processo de agendamento de tarefas, ele ajuda a detectar problemas de qualidade o mais cedo possível, evitando a propagação de falhas. Isso fornece uma source de dados eficiente, confiável e segura para seus negócios. |
3. Governança de dados
Ao associar uma source de dados do MaxCompute, o DataWorks coleta automaticamente seus metadados. Utilize Data Map para visualizar metadados ou Data Governance Center para visualizar e resolver problemas detectados.
Módulo | Descrição | Documentação relacionada |
Data Map | Com base em metadados unificados, ajuda a gerenciar, inventariar, localizar e compreender objetos de dados. | |
Security Center Data Security Guard Approval Center | O Security Center é uma plataforma unificada de governança de segurança de dados que integra classificação de ativos de dados, identificação de dados sensíveis, autorização de dados, mascaramento de dados sensíveis, auditoria de acesso e identificação e resposta a riscos. | |
Data Governance Center | O Data Governance Center auxilia na realização proativa e sistemática da governança de dados. Ele utiliza modelos de regras de domínio de dados, identifica automaticamente ativos que precisam de otimização e fornece estratégias de governança preventivas e corretivas. |
4. Análise de dados e services
O DataWorks oferece capacidades de processamento, análise e service de dados, com APIs gerenciadas centralmente para compartilhamento eficiente de dados.
|
Módulo |
Descrição |
Documentação relacionada |
|
DataAnalysis |
Execute consultas SQL online, obtenha insights de negócios e edite e compartilhe dados. Salve resultados de consultas como cartões de gráfico para criar relatórios visuais de dados. |
|
|
DataService Studio |
O DataService Studio fornece capacidades abrangentes de service e compartilhamento de dados, ajudando empresas a gerenciar centralmente services de API para uso interno e externo. |
5. Open Platform
A Open Platform do DataWorks ajuda a integrar sistemas de aplicações ao DataWorks para controle de processos de desenvolvimento, governança de dados, O&M e resposta em tempo real a mudanças de status nos negócios.
|
Categoria |
Descrição |
Documentação relacionada |
|
OpenAPI |
A OpenAPI fornece APIs para interação entre services on-premises e o DataWorks, melhorando a eficiência do processamento de big data e reduzindo operações manuais, sobrecarga de O&M, riscos de dados e custos. |
|
|
OpenEvent |
A OpenEvent oferece um service de assinatura de mensagens. Ao assinar eventos do DataWorks, suas aplicações recebem alterações de status em tempo real para respostas oportunas e tomada de decisão personalizada. |
|
|
Extensions |
As Extensions permitem registrar um programa de service para interceptar e responder a mensagens OpenEvent assinadas, habilitando notificações e controle de processos para eventos específicos. |
Apêndice: Relação entre DataWorks e MaxCompute
Um workspace no modo básico possui apenas um ambiente de produção e corresponde a um único projeto do MaxCompute. O exemplo a seguir utiliza um workspace no modo padrão.
O DataWorks fornece agendamento de tarefas, gerenciamento de metadados, governança de dados e controle de segurança de dados para o MaxCompute, enquanto a computação e o armazenamento ocorrem dentro do MaxCompute. No modo padrão, o DataWorks associa projetos distintos do MaxCompute aos ambientes de desenvolvimento e produção para isolar armazenamento e recursos.
Para informações sobre como criar uma source de dados do MaxCompute em um workspace do DataWorks, associá-la ao DataStudio e visualizar os projetos do MaxCompute usados em cada ambiente, consulte Associate a MaxCompute compute engine with a workspace.
Para informações sobre como o DataWorks despacha tarefas de agendamento, consulte How DataWorks dispatches scheduling tasks.
