O DataWorks integra-se ao Hologres para que você construa um data warehouse em tempo real ou um sistema de análise ad hoc sem gerenciar infraestruturas complexas. Em um único console, configure tarefas do Hologres, defina agendamentos periódicos e gerencie metadados.
Este tópico aborda o processo de desenvolvimento de ponta a ponta: pré-requisitos, faturamento, preparação do ambiente, gerenciamento de permissões, integração de dados, desenvolvimento e monitoramento de tarefas, governança de dados, análise e integração com a plataforma aberta.
Dica: Para automatizar fluxos de trabalho ou acionar tarefas do DataWorks a partir de sistemas externos, utilize os módulos da Plataforma Aberta (OpenAPI, OpenEvent, Extensions). Eles permitem executar essas ações programaticamente, sem depender exclusivamente de operações manuais no console.
Pré-requisitos
Antes de começar, verifique se você tem:
Uma instância do DataWorks ativada. Para mais detalhes, consulte Ativar o DataWorks.
Um workspace do DataWorks. Para mais detalhes, consulte Criar e gerenciar workspaces.
Observações de uso
|
Área |
Consideração principal |
|
Desenvolver tarefas do Hologres no DataWorks gera custos de recursos do DataWorks e de outros serviços da Alibaba Cloud usados durante o desenvolvimento e a execução. |
|
|
Adquira uma edição do DataWorks e um grupo de recursos, adicione uma fonte de dados do Hologres e associe-a ao seu workspace. |
|
|
Conceda permissões aos usuários RAM no mecanismo de computação do Hologres, na fonte de dados e nas tabelas relacionadas. Atribua funções no nível do workspace antes de iniciar o desenvolvimento. |
|
|
Leia e escreva dados no Hologres por meio de sincronização em lote, em tempo real, completa ou incremental. |
|
|
Use o Data Modeling para governança de dados de ponta a ponta, o DataStudio para desenvolver e agendar tarefas e o Operation Center para monitoramento e O&M. |
|
|
Gerencie metadados e governe dados do Hologres com o Data Map, o Security Center e o Data Governance Center. |
|
|
Execute análises baseadas em SQL e exponha dados via API com o DataAnalysis e o DataService Studio. |
|
|
Integre sistemas de aplicações externas ao DataWorks com OpenAPI, OpenEvent e Extensions. |
Faturamento
Desenvolver tarefas do Hologres no DataWorks gera duas categorias de cobrança: taxas faturadas pelo DataWorks e taxas faturadas separadamente por outros serviços da Alibaba Cloud.
Taxas de recursos do DataWorks
Para obter a lista completa de itens faturáveis, consulte Visão geral.
|
Taxa |
Descrição |
|
Edição do DataWorks |
A ativação da Standard Edition, Professional Edition ou Enterprise Edition é cobrada no momento da compra. |
|
Recursos de agendamento |
O agendamento periódico de tarefas exige um grupo de recursos serverless (recomendado) ou um grupo de recursos exclusivo de versão anterior. Um único grupo de recursos serverless atende tanto ao agendamento de tarefas quanto à sincronização de dados. |
|
Recursos de sincronização de dados |
As tarefas de sincronização consomem recursos de agendamento e de sincronização. Adquira um grupo de recursos serverless ou um grupo de recursos exclusivo de versão anterior para o Data Integration. |
Executar tarefas manualmente — clicando em Run ou Run with Parameters na barra de ferramentas do DataStudio — não gera taxas de agendamento. Tarefas com falha e tarefas de simulação (dry-run) também não são cobradas.
Para detalhes sobre o cálculo das taxas de agendamento, consulte Lógica de emissão de tarefas de agendamento no DataWorks.
Taxas de outros serviços da Alibaba Cloud
Os respectivos serviços da Alibaba Cloud faturam essas taxas diretamente, e não pela fatura do DataWorks. Verifique a documentação de faturamento de cada serviço utilizado.
|
Taxa |
Descrição |
|
Taxas de banco de dados |
Executar tarefas de sincronização de dados que leem ou escrevem em bancos de dados pode gerar taxas de banco de dados. |
|
Taxas de computação e armazenamento |
Executar tarefas em um mecanismo de computação — por exemplo, uma tarefa SQL do Hologres — pode gerar cobranças de computação e armazenamento. Para preços do Hologres, consulte Itens faturáveis do Hologres. |
|
Taxas de serviço de rede |
Estabelecer conexões de rede entre o DataWorks e outros serviços com Express Connect, Elastic IP Address (EIP) ou Internet Shared Bandwidth pode gerar taxas de rede. |
Preparação do ambiente
Antes de desenvolver tarefas do Hologres, adquira a edição adequada do DataWorks e o grupo de recursos correspondente. Em seguida, conecte sua instância do Hologres a um workspace.
Preparação de recursos
A Basic Edition do DataWorks oferece suporte a fluxos de trabalho essenciais de desenvolvimento do Hologres, incluindo migração de dados, desenvolvimento de tarefas, agendamento e governança de dados. Faça upgrade para a Standard Edition, Professional Edition ou Enterprise Edition para obter capacidades avançadas de governança e segurança.
|
Item |
Opções |
Referência |
|
DataWorks edition |
A Basic Edition cobre os fluxos de trabalho principais de desenvolvimento do Hologres. Faça upgrade para a Standard, Professional ou Enterprise Edition para acessar recursos avançados de governança e segurança. |
|
|
Resource group |
Grupo de recursos serverless (recomendado): Um único grupo atende à sincronização de dados, ao agendamento e ao DataService Studio. Aloque recursos conforme a carga de trabalho. Grupo de recursos de versão anterior: Atende às necessidades básicas de agendamento, mas será descontinuado. |
Preparação do ambiente de desenvolvimento
Adicione uma instância do Hologres ao seu workspace como fonte de dados e associe-a ao DataStudio. Inclua membros da equipe no workspace para habilitar o desenvolvimento colaborativo.
|
Item |
Descrição |
Referência |
|
Data synchronization environment |
Adicione uma instância do Hologres a um workspace do DataWorks como fonte de dados antes de executar tarefas de sincronização. |
|
|
Data development and analysis environment |
Associe a fonte de dados ao DataStudio para permitir o desenvolvimento de dados, a análise e o agendamento periódico. |
Associar um recurso de computação do Hologres; Preparações antes do desenvolvimento de dados: Associar um recurso de computação ou cluster ao DataStudio |
|
Collaborative development environment |
Adicione usuários RAM ao workspace com a função Development. Conceda a cada usuário permissões na instância do mecanismo de computação do Hologres, na fonte de dados do Hologres e nos bancos de dados necessários no ambiente de produção. |
Adicionar membros a um workspace; Configurar permissões no mecanismo de computação do Hologres para um membro do workspace |
Gerenciamento de permissões
O DataWorks usa dois sistemas de permissão complementares para controlar o acesso em diferentes níveis.
Permissões de acesso a dados
Para desenvolver tarefas do Hologres como usuário RAM em um workspace do DataWorks, conceda ao usuário:
Permissões na instância do mecanismo de computação do Hologres
Permissões na fonte de dados do Hologres associada ao workspace
Permissões nas tabelas relacionadas
Para mais detalhes, consulte Gerenciamento de permissões para o Hologres.
Permissões de serviço e de recurso
Atribua uma função no nível do workspace a cada usuário RAM antes que ele inicie o desenvolvimento. Dois mecanismos de autorização estão disponíveis:
Autorização baseada em política RAM: Controla permissões em módulos de serviço do DataWorks (por exemplo, restringir o acesso ao Data Map) e operações no nível do console (por exemplo, permitir a exclusão de workspace). Consulte Autorização baseada em política RAM.
Controle de acesso baseado em função (RBAC): Controla permissões em módulos no nível do workspace (por exemplo, conceder acesso ao DataStudio) e módulos no nível global (por exemplo, restringir o acesso ao Data Security Guard). Consulte Controle de acesso baseado em função (RBAC).
Para um guia passo a passo, consulte Melhores práticas: Conceder permissões a usuários RAM.
Primeiros passos
O DataWorks abrange todo o ciclo de vida de desenvolvimento: integre dados, crie e agende tarefas no DataStudio, monitore no Operation Center, governe dados, analise resultados e exponha dados por meio de APIs. Cada etapa é descrita abaixo.
Integração de dados
O Data Integration do DataWorks lê e escreve no Hologres e oferece suporte à sincronização entre uma fonte de dados do Hologres e outros tipos de fontes de dados. Escolha o cenário adequado à sua carga de trabalho:
Sincronização em lote — para cargas de dados volumosas e agendadas
Sincronização em tempo real — para pipelines de dados contínuos e de baixa latência
Sincronização completa — para cargas iniciais completas de dados
Sincronização incremental — para atualizações delta contínuas
Para uma visão geral de todos os cenários suportados, consulte Visão geral do Data Integration.
Modelagem e desenvolvimento de dados
|
Módulo |
Funcionalidade |
Referências |
|
Data Modeling |
Primeiro passo para a governança de dados de ponta a ponta. O Data Modeling estrutura os dados empresariais com a metodologia de mid-end de dados da Alibaba. Isso abrange planejamento de data warehouse, padrões de dados, modelagem dimensional e métricas de dados, permitindo que as equipes interpretem e compartilhem dados de negócios de forma consistente. |
|
|
DataStudio |
Desenvolva e agende tarefas do Hologres sem linhas de comando complexas. Oferece suporte a nós SQL do Hologres, nós de sincronização de schema e tipos de nós de uso geral (Shell, Assignment, Branch, Do-while, For-each, entre outros) para lidar com lógicas complexas. Também permite sincronizar dados entre o Hologres e outras fontes de dados, embora apenas um subconjunto de cenários de sincronização em lote e em tempo real esteja disponível no DataStudio. Consulte Integração de dados para a lista completa. |
Padrões de desenvolvimento do Hologres; Criar um nó SQL do Hologres; Criar um nó para sincronizar schemas de tabelas do MaxCompute; Criar um nó para sincronizar dados do MaxCompute |
|
Operation Center |
Plataforma de O&M e monitoramento de ponta a ponta. Visualize o status das tarefas, execute diagnósticos inteligentes, reexecute tarefas com falha e use o recurso de linha de base inteligente para garantir a pontualidade das saídas de tarefas críticas. |
|
|
Data Quality |
Monitora a qualidade dos dados durante todo o processo de P&D com regras configuráveis integradas ao agendamento de tarefas. Detecta e escala problemas de qualidade de dados antes que afetem os consumidores downstream. |
Após desenvolver tarefas no DataStudio, conclua as etapas a seguir antes da implantação:
Configure as propriedades de agendamento — defina dependências e parâmetros de agendamento para habilitar execuções periódicas.
Depure os nós — teste as tarefas antes da implantação para evitar desperdício de recursos de computação em produção.
Implante em produção — as tarefas implantadas aparecem na página Auto Triggered Nodes no Operation Center.
Gerencie os nós — implante, remova a implantação ou modifique propriedades de agendamento em várias tarefas.
Aplique controle de processo — use revisão de código, testes de fumaça (smoke testing) e lógica de revisão personalizada para padronizar o desenvolvimento e proteger os dados de produção.
Para mais detalhes, consulte Visão geral, Processo de depuração de tarefas, Publicar tarefas, Operações em lote e Controle de processo de desenvolvimento.
Governança de dados
Ao associar uma fonte de dados do Hologres a um workspace do DataWorks, o DataWorks coleta automaticamente seus metadados. Visualize os metadados no Data Map e os problemas de governança no Data Governance Center.
|
Módulo |
Funcionalidade |
Referência |
|
Data Map |
Plataforma de gerenciamento de metadados de nível empresarial. Pesquise, categorize e compreenda objetos de dados em toda a organização com base em serviços unificados de metadados. |
|
|
Security Center, Data Security Guard, Approval Center |
Plataforma de governança de segurança de dados de ponta a ponta. Abrange classificação de ativos de dados, identificação de dados sensíveis, gerenciamento de autorização, mascaramento de dados, auditoria de acesso e resposta a riscos. |
Visão geral do Security Center; Visão geral do Data Security Guard; Visão geral do Approval Center |
|
Data Governance Center |
Identifica automaticamente problemas de governança em vários campos com regras derivadas da experiência prática em engenharia de dados. Oferece prevenção proativa de problemas e correção pós-evento. |
Análise de dados e serviços
|
Módulo |
Funcionalidade |
Referência |
|
DataAnalysis |
Execute análises baseadas em SQL online, explore dados de negócios, edite e compartilhe conjuntos de dados e gere relatórios visuais a partir dos resultados das consultas. |
|
|
DataService Studio |
Exponha dados por meio de APIs gerenciadas centralmente para consumidores internos e externos. |
Plataforma Aberta
Conecte sistemas de aplicações externas ao DataWorks para gerenciar pipelines de dados, governar dados, executar operações de O&M e responder a mudanças de negócios programaticamente.
|
Módulo |
Funcionalidade |
Referência |
|
OpenAPI |
Chame operações de API do DataWorks para integrar aplicações ao DataWorks. Reduz operações manuais e esforço de O&M, minimizando riscos aos dados. |
|
|
OpenEvent |
Assine eventos de alteração do DataWorks para que suas aplicações detectem e respondam a mudanças imediatamente. |
|
|
Extensions |
Registre programas locais como extensões para gerenciar processos orientados a eventos acionados por eventos do workspace do DataWorks. |
Apêndice: Relação entre DataWorks e Hologres
As informações neste apêndice aplicam-se a workspaces no modo padrão. Se você usar um workspace no modo básico, apenas o ambiente de produção estará disponível e somente um banco de dados do Hologres poderá ser associado ao workspace.
O DataWorks fornece agendamento, gerenciamento de metadados, governança de dados e controle de segurança para o Hologres, mas toda a computação e o armazenamento de dados ocorrem no Hologres. Em um workspace no modo padrão, é possível associar diferentes instâncias do Hologres ao workspace nos ambientes de desenvolvimento e produção. Isso mantém os recursos de armazenamento e computação isolados entre os ambientes.
Para saber como adicionar uma fonte de dados do Hologres e visualizar instâncias em cada ambiente, consulte Associar um recurso de computação do Hologres.
Para entender como o DataWorks emite tarefas agendadas para o Hologres, consulte Lógica de emissão de nós de agendamento no DataWorks.