DataWorks:Governança de ativos de dados

Limites

• Edições

  Somente o DataWorks Enterprise Edition ou uma edição superior oferece suporte à Governança de Ativos de Dados. Para obter informações sobre as edições do DataWorks, consulte DataWorks: Recursos por edição. Para saber como ativar o DataWorks, veja Guia de compra.

• Regiões

  A Governança de Ativos de Dados está disponível nas seguintes regiões: China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen), China (Chengdu), China (Hong Kong), Singapore, Japan (Tokyo),

  Malaysia (Kuala Lumpur), Indonesia (Jakarta), Germany (Frankfurt), US (Silicon Valley) e US (Virginia).

• Permissões

  • A tabela a seguir descreve as permissões de cada função na Governança de Ativos de Dados.

    Função	Permissão	Referências
    Administrador de governança de dados no nível do tenant	Um administrador de governança de dados no nível do tenant pode visualizar relatórios de governança, problemas de governança e verificar eventos sob a perspectiva Global, além de executar ações corretivas.	Para obter informações sobre como conceder permissões aos usuários, consulte a seção Gerenciar funções de membros do tenant no tópico Gerenciar permissões em services de nível global. Para mais detalhes sobre as permissões de um administrador de governança de dados, veja a seção Governança de Dados no tópico Permissões de funções integradas no nível de workspace.
    Administrador de workspace	Um administrador de workspace pode visualizar relatórios de governança sob a perspectiva Workspace View. Para acessar os relatórios de governança de um workspace específico, é necessário ter a função de administrador desse workspace.	Para obter informações sobre como conceder permissões aos usuários, consulte a seção Adicionar um usuário RAM a um workspace como membro e atribuir funções ao membro no tópico Gerenciar permissões em services de nível de workspace. Para saber como visualizar relatórios de governança, veja a seção Visualizar o relatório de avaliação de governança no tópico Visualizar resultados da governança de dados.
    Administrador de governança de dados no nível de workspace	Um administrador de governança de dados no nível de workspace pode visualizar e gerenciar o conteúdo de governança de dados do workspace ao qual a função pertence. Nota Esta função não permite visualizar o status de governança de dados em todos os workspaces de uma região na dimensão global nem gerenciar operações globais de governança, como ativar itens de verificação no nível global. Para permitir que um usuário do Resource Access Management (RAM) execute operações globais de governança, atribua a função Administrador de Governança de Dados no nível do tenant a esse usuário RAM. Para mais informações, consulte Função Administrador de Governança de Dados no nível do tenant.	Para obter informações sobre como conceder permissões aos usuários, consulte a seção Adicionar um usuário RAM a um workspace como membro e atribuir funções ao membro no tópico Gerenciar permissões em services de nível de workspace. Para conhecer os recursos compatíveis com a função de administrador de governança de dados no nível de workspace, veja a seção Governança de Dados no tópico Permissões de funções integradas no nível de workspace.
    Usuário comum	Usuários comuns tratam os problemas detectados na Governança de Ativos de Dados. Um usuário comum pode visualizar eventos de verificação e problemas de governança na dimensão pessoal, além de realizar operações de correção. Para corrigir problemas detectados em um workspace, você deve ser adicionado a ele como membro. Nota Por padrão, exceto pelas contas Alibaba Cloud e usuários RAM aos quais a política AliyunDataWorksFullAccess está anexada, todos os outros usuários são considerados usuários comuns dentro de um tenant.	Para obter informações sobre como conceder permissões aos usuários, consulte a seção Adicionar um usuário RAM a um workspace como membro e atribuir funções ao membro no tópico Gerenciar permissões em services de nível de workspace.

  • Somente contas Alibaba Cloud e usuários RAM com a política AliyunDataWorksFullAccess podem usar todos os recursos da Governança de Ativos de Dados. Para utilizar todas as funcionalidades como usuário RAM, solicite as permissões necessárias. Para mais informações, consulte a seção Conceder permissões para executar operações no DataWorks a um usuário RAM no tópico Preparar um usuário RAM.

• Recursos de computação

  Atualmente, a Governança de Ativos de Dados oferece suporte apenas aos recursos de computação MaxCompute, E-MapReduce (EMR) e Hologres.

  Nota

  • Para usar um recurso de computação Hologres na Governança de Ativos de Dados, colete primeiro seus metadados com o Data Map. Para mais informações, consulte Coleta de metadados.

  • A Governança de Ativos de Dados suporta recursos de computação Hologres apenas nas regiões China (Beijing), China (Shanghai), China (Hangzhou) e China (Shenzhen).

Lógica de governança de dados

A Governança de Ativos de Dados detecta eventos de verificação com base em itens de verificação antes da submissão e implantação das tarefas de desenvolvimento de dados e identifica problemas de governança com base em itens de governança após a implantação. Isso garante o tratamento abrangente de eventos e problemas relacionados a dados. Se uma tarefa falhar em uma verificação, um evento será gerado. Eventos graves podem bloquear o processo subsequente de desenvolvimento. Você pode visualizar e tratar o evento na Governança de Ativos de Dados e, depois que a tarefa passar na verificação, prosseguir com o desenvolvimento. O fluxograma a seguir descreve a lógica de governança de dados:

O DataWorks fornece workspaces nos modos padrão e básico. O processo de desenvolvimento de tarefas varia conforme o modo do workspace. Este tópico utiliza um workspace no modo padrão para ilustrar o processo de desenvolvimento de tarefas. Para mais informações sobre o processo de desenvolvimento em diferentes modos, consulte DataStudio (legado).

• Execute verificações com base em itens de verificação.

  Os itens de verificação validam os dados em relação a regras antes da submissão e implantação das tarefas. Caso o sistema detecte uma violação, ele gera um evento de verificação para bloquear o processo subsequente de desenvolvimento. Resolva o problema para que o fluxo de desenvolvimento prossiga conforme esperado.

• Execute verificações com base em itens de governança.

  A detecção de itens de governança é um mecanismo pós-implantação. Utilize as perspectivas Global, Individual ou Workspace View na Governança de Ativos de Dados para visualizar itens de governança pendentes. A equipe de governança pode usar essas informações para descobrir e resolver problemas rapidamente, ajudando a cumprir as metas estabelecidas.

Processo de governança de dados

1. Configure as ferramentas de governança.

   • Ative um modelo de plano de governança e configure itens personalizados.

     Operação	Descrição	Referências
     Configurar itens de verificação personalizados	Se os itens de verificação do modelo não atenderem aos seus requisitos de negócios, configure itens personalizados. Crie um item de verificação para uma extensão personalizada registrada. O DataWorks também permite criar itens de verificação na Governança de Ativos de Dados para uma extensão personalizada. Após a criação desses itens, a Governança de Ativos de Dados detecta os eventos de verificação acionados pela extensão personalizada. Desative itens de verificação. Caso um item de verificação no modelo de plano de governança seja desnecessário para um workspace, desative-o. Após desativar o item de verificação, a Governança de Ativos de Dados deixa de detectar seus eventos de verificação nesse workspace.	Configurar itens de verificação
     Configurar item de governança personalizado	Se um item de governança no modelo de plano for desnecessário para um workspace, crie uma regra para desativá-lo. Depois de desativar o item de governança, a Governança de Ativos de Dados deixa de detectar problemas de governança com base nesse item no workspace. Os problemas detectados não aparecem na aba Governance Issue. Nota É possível desativar apenas itens de governança opcionais. Não é permitido desativar itens obrigatórios nem criar novos itens de governança.	Configurar itens de governança

   • Opcional. Configure uma unidade de governança.

     Realize a governança de dados em vários workspaces de maneira centralizada criando uma unidade de governança. Em seguida, visualize estatísticas agregadas sobre pontuações de integridade, problemas de governança e eventos de verificação para os workspaces dentro dessa unidade. Para mais informações, consulte Configurar unidades de governança.

   • Opcional. Configure métodos de notificação de problemas.

     Para que o sistema notifique pessoas específicas sobre problemas detectados por meio de mensagens do sistema, e-mails, mensagens de grupo do DingTalk ou webhook URLs, configure os métodos de notificação. Isso garante que a equipe possa visualizar e tratar os problemas prontamente. Para mais informações, consulte Configurações de alerta.

2. Inicie uma verificação e trate os problemas de governança detectados.

   • Verifique se há violações nos dados em relação aos itens de verificação antes da submissão e implantação.

     Antes da submissão e implantação dos dados, o DataWorks os verifica em relação aos itens de verificação configurados. Se houver violação de algum item, eventos de verificação serão gerados. Visualize e trate esses eventos conforme necessário. Para mais informações, consulte Tratar eventos de verificação.

   • Execute verificações após a implantação da tarefa.

     Após a submissão e implantação dos dados, o DataWorks detecta problemas de governança com base nos itens de governança configurados. Visualize e trate esses problemas. Para mais informações, consulte Tratar eventos de verificação.

   • Execute verificações do Asset 360.

     Utilize o recurso Asset 360 para detectar, visualizar e tratar problemas de governança em tarefas e tabelas específicas. Para mais informações, consulte Asset 360.

   • Realize a governança automatizada de materialized views.

     A Governança de Ativos de Dados oferece suporte a materialized views com governança automatizada e recomendações inteligentes. Trata-se de uma solução inteligente e automatizada para tarefas de computação de big data que lidam frequentemente com um grande número de subconsultas semelhantes. Para mais informações, consulte Materialized views.

   Caso problemas inválidos sejam detectados, adicione-os a uma lista de permissões ou cancele a implantação das tarefas ou tabelas relacionadas. Para mais informações, consulte Adicionar um problema a uma lista de permissões e Cancelamento de implantação seguro.

3. Selecione uma dimensão analítica.

   • Com base em cenários de uso: O DataWorks oferece múltiplas dimensões, como produção de dados, uso de dados e gerenciamento de dados, para ajudar você a analisar a eficácia da governança e gerenciar os dados com eficiência.

   • Com base no uso racional de recursos: O DataWorks fornece estatísticas sobre consumo de recursos, status de execução de tarefas, contagem e armazenamento de tabelas MaxCompute, além de visões gerais e detalhadas do uso de recursos. Desenvolvedores e administradores de dados podem analisar o uso geral de recursos do workspace e otimizar a alocação com base nessas estatísticas. Para mais informações, consulte Análise de ativos

4. Visualize os resultados da governança.

   Após tratar os problemas de governança, acesse a página Overview > Workbench para visualizar os resultados da governança sob diferentes perspectivas. Ao analisar os resultados, identifique rapidamente as dimensões e categorias com mais problemas, impulsionando a resolução e o alcance das metas de governança.

   A Governança de Ativos de Dados calcula pontuações de integridade com base em itens de governança usando um modelo de avaliação de integridade. Visualize as pontuações de integridade em relatórios de governança e rankings para entender os resultados. Uma pontuação de integridade mais alta indica maior eficácia na governança. Para mais informações, consulte a seção Avaliação quantitativa: pontuações de integridade no tópico Visão geral.

Avaliação quantitativa: pontuações de integridade

A pontuação de integridade é uma métrica composta que reflete o estado dos seus ativos de dados. O sistema a calcula aplicando técnicas de processamento de dados e machine learning a metadados como comportamento do usuário, características dos dados e propriedades das tarefas em toda a produção, distribuição e gerenciamento de dados. O sistema de pontuação de integridade baseia-se em cinco domínios principais: armazenamento, computação, P&D, qualidade e segurança, com cinco métricas correspondentes. A página de pontuação de integridade exibe um gráfico de radar com pontuações de governança para cinco dimensões: P&D, armazenamento, computação, qualidade e segurança. Também fornece informações de tendência mês a mês.

As pontuações de integridade variam de 0 a 100. Uma pontuação mais alta indica ativos de dados mais saudáveis. Isso ajuda você a usar dados de forma segura, eficiente e confiável, garantindo a produção de dados e as operações de negócios. A Governança de Ativos de Dados usa um modelo de avaliação de integridade integrado para realizar uma avaliação quantitativa da eficácia da governança e gera uma pontuação geral de integridade, além de uma pontuação para cada dimensão de governança. A tabela a seguir descreve as classificações de avaliação e as faixas de pontuação.

• Excelente: [90, 100]

• Bom: [75, 90)

• Aprovado: [60, 75)

• Melhoria necessária: [30, 60)

• Insatisfatório: [0,30)

Termos

• Check item: Mecanismo proativo de governança aplicado durante o fluxo de trabalho de produção de dados. Realiza pré-verificações em etapas críticas, como execução e implantação de tarefas, para identificar problemas potenciais como varredura completa de tabela ou dependência de agendamento ausente. Se o sistema detectar um item não compatível, gera um evento de verificação e bloqueia automaticamente o processo. Isso impõe padronização e normaliza o processamento de dados.

• Governance Item: Define um problema potencial ou área de otimização identificada durante a governança de dados. Abrange áreas como padrões de desenvolvimento, qualidade de dados, conformidade de segurança e utilização de recursos. Os itens de governança dividem-se em obrigatórios e opcionais. Itens obrigatórios são ativados por padrão e não podem ser alterados, enquanto itens opcionais podem ser ativados conforme necessário. Exemplos incluem Task running time is too long, Continuous error nodes e No one visits leaf nodes.

• Governance Issue: Problema detectado por uma varredura de item de governança que exige resolução.

• Governance unit: Consiste em um ou mais workspaces. Permite visualizar estatísticas sobre a pontuação geral de integridade, problemas de governança e eventos de verificação dos workspaces dentro de uma unidade de governança.

• Governance plan: A Governança de Ativos de Dados fornece modelos de plano de governança para diferentes cenários, projetados para atingir objetivos predeterminados dentro de períodos específicos. Um modelo de plano de governança ajuda a identificar rapidamente itens de governança e de verificação relevantes, além de descobrir oportunidades de otimização. Isso auxilia os responsáveis pela governança a acompanhar a eficácia e ajuda a equipe a cumprir eficientemente os objetivos por meio de avaliações quantitativas.

• Knowledge Base: Contém definições dos itens de verificação e governança integrados na Governança de Ativos de Dados. Ajuda a equipe de governança a identificar e entender problemas específicos rapidamente, fornecendo informações de referência e orientações práticas para melhorar a eficiência.

Documentação relacionada

Para mais informações sobre o uso de itens de verificação durante o desenvolvimento de dados, consulte Diagnosticar e governar problemas de desenvolvimento de nós.