DataWorks:Visão geral da Governança de Ativos de Dados

Limites

• Edições

  Somente o DataWorks Enterprise Edition ou uma edição superior oferece suporte à Governança de Ativos de Dados. Para obter informações sobre as edições do DataWorks, consulte DataWorks: Features by edition. Para saber como ativar o DataWorks, consulte Purchase guide.

• Regiões

  A Governança de Ativos de Dados está disponível nas seguintes regiões: China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen), China (Chengdu), China (Hong Kong), Singapore, Japan (Tokyo),

  Malaysia (Kuala Lumpur), Indonesia (Jakarta), Germany (Frankfurt), US (Silicon Valley) e US (Virginia).

• Permissões

  • A tabela a seguir descreve as permissões de cada função na Governança de Ativos de Dados.

    Função	Permissão	Referências
    Administrador de governança de dados no nível do tenant	Um administrador de governança de dados no nível do tenant pode visualizar relatórios de governança, problemas de governança e verificar eventos sob a perspectiva Global, além de executar ações corretivas.	Para obter informações sobre como conceder permissões aos usuários, consulte a seção Gerencie funções de membros do tenant no tópico Gerenciar permissões em serviços no nível global. Para mais detalhes sobre as permissões de um administrador de governança de dados, consulte a seção Data Governance no tópico Permissões de funções integradas no nível de workspace.
    Administrador de workspace	Um administrador de workspace pode visualizar relatórios de governança sob a perspectiva Workspace View. Para acessar os relatórios de governança de um workspace específico, é necessário ter a função de administrador desse workspace.	Para obter informações sobre como conceder permissões aos usuários, consulte a seção Adicione um usuário RAM a um workspace como membro e atribua funções ao membro no tópico Gerenciar permissões em serviços no nível de workspace. Para saber como visualizar relatórios de governança, consulte a seção Visualize o relatório de avaliação de governança no tópico Visualizar resultados da governança de dados.
    Administrador de governança de dados no nível de workspace	Um administrador de governança de dados no nível de workspace pode visualizar e gerenciar o conteúdo de governança de dados do workspace ao qual a função pertence. Nota Essa função não permite visualizar o status da governança de dados em todos os workspaces de uma região na dimensão global nem gerenciar operações globais de governança, como ativar itens de verificação no nível global. Para permitir que um usuário do Resource Access Management (RAM) execute operações globais de governança, atribua a função de Administrador de Governança de Dados no nível do tenant a esse usuário RAM. Para mais informações, consulte Função de Administrador de Governança de Dados no nível do tenant.	Para obter informações sobre como conceder permissões aos usuários, consulte a seção Adicione um usuário RAM a um workspace como membro e atribua funções ao membro no tópico Gerenciar permissões em serviços no nível de workspace. Para conhecer os recursos compatíveis com a função de administrador de governança de dados no nível de workspace, consulte a seção Data Governance no tópico Permissões de funções integradas no nível de workspace.
    Usuário comum	Usuários comuns tratam os problemas detectados na Governança de Ativos de Dados. Um usuário comum pode visualizar eventos de verificação e problemas de governança na dimensão pessoal, além de executar operações de correção. Para corrigir problemas detectados em um workspace, você deve ser adicionado a ele como membro. Nota Por padrão, exceto pelas contas Alibaba Cloud e usuários RAM aos quais a política AliyunDataWorksFullAccess está anexada, todos os outros usuários são considerados usuários comuns dentro de um tenant.	Para obter informações sobre como conceder permissões aos usuários, consulte a seção Adicione um usuário RAM a um workspace como membro e atribua funções ao membro no tópico Gerenciar permissões em serviços no nível de workspace.

  • Somente contas Alibaba Cloud e usuários RAM com a política AliyunDataWorksFullAccess podem usar todos os recursos da Governança de Ativos de Dados. Para utilizar todas as funcionalidades como usuário RAM, solicite as permissões necessárias. Para mais informações, consulte a seção Conceda as permissões para realizar operações no DataWorks a um usuário RAM no tópico Preparar um usuário RAM.

• Recursos de computação

  Atualmente, a Governança de Ativos de Dados oferece suporte apenas aos recursos de computação MaxCompute, E-MapReduce (EMR) e Hologres.

  Nota

  • Para usar um recurso de computação Hologres na Governança de Ativos de Dados, primeiro colete seus metadados com o Data Map. Para mais informações, consulte Metadata collection.

  • A Governança de Ativos de Dados suporta recursos de computação Hologres apenas nas regiões China (Beijing), China (Shanghai), China (Hangzhou) e China (Shenzhen).

Lógica de governança de dados

A Governança de Ativos de Dados detecta eventos de verificação com base em itens de verificação antes da submissão e implantação das tarefas de desenvolvimento de dados e identifica problemas de governança com base em itens de governança após a implantação. Isso garante o tratamento abrangente de eventos e problemas relacionados a dados. Se uma tarefa falhar em uma verificação, o sistema gera um evento. Eventos graves podem bloquear o processo subsequente de desenvolvimento. Você pode visualizar e tratar o evento na Governança de Ativos de Dados e, após a aprovação da tarefa na verificação, prosseguir com o desenvolvimento. O fluxograma a seguir descreve a lógica de governança de dados:

O DataWorks fornece workspaces nos modos padrão e básico. O processo de desenvolvimento de tarefas varia conforme o modo do workspace. Este tópico utiliza um workspace no modo padrão para ilustrar o processo de desenvolvimento de tarefas. Para mais informações sobre o processo de desenvolvimento em diferentes modos, consulte DataStudio (legacy).

• Execute verificações com base em itens de verificação.

  Os itens de verificação validam os dados em relação a regras antes da submissão e implantação das tarefas. Caso o sistema detecte uma violação, ele gera um evento de verificação para bloquear o processo subsequente de desenvolvimento. Resolva o problema para que o fluxo de desenvolvimento prossiga conforme esperado.

• Execute verificações com base em itens de governança.

  A detecção de itens de governança é um mecanismo pós-implantação. Utilize as perspectivas Global, Individual ou Workspace View na Governança de Ativos de Dados para visualizar itens de governança pendentes. A equipe de governança pode usar essas informações para descobrir e resolver problemas rapidamente, ajudando a cumprir as metas estabelecidas.

Processo de governança de dados

1. Configure as ferramentas de governança.

   • Ative um modelo de plano de governança e configure itens personalizados.

     Operação	Descrição	Referências
     Configurar itens de verificação personalizados	Se os itens de verificação do modelo não atenderem aos seus requisitos de negócios, configure itens personalizados. Crie um item de verificação para uma extensão personalizada registrada. O DataWorks também permite criar itens de verificação na Governança de Ativos de Dados para uma extensão personalizada. Após a criação desses itens, a Governança de Ativos de Dados detectará os eventos de verificação acionados pela extensão. Desative itens de verificação. Caso um item de verificação no modelo de plano de governança seja desnecessário para um workspace, desative-o. Após a desativação, a Governança de Ativos de Dados deixará de detectar seus eventos de verificação nesse workspace.	Configure itens de verificação
     Configurar item de governança personalizado	Se um item de governança no modelo de plano for desnecessário para um workspace, crie uma regra para desativá-lo. Após a desativação, a Governança de Ativos de Dados deixará de detectar problemas de governança com base nesse item no workspace. Os problemas detectados não serão exibidos na aba Governance Issue. Nota É possível desativar apenas itens de governança opcionais. Não é permitido desativar itens obrigatórios nem criar novos itens de governança.	Configure itens de governança

   • Opcional. Configure uma unidade de governança.

     Ao criar uma unidade de governança, você pode realizar a governança de dados em vários workspaces de maneira centralizada. Em seguida, visualize estatísticas agregadas de pontuações de integridade, problemas de governança e eventos de verificação para os workspaces dentro dessa unidade. Para mais informações, consulte Configure unidades de governança.

   • Opcional. Configure métodos de notificação de problemas.

     Para que o sistema notifique pessoas específicas sobre problemas detectados por meio de mensagens do sistema, e-mails, mensagens de grupo do DingTalk ou URLs de webhook, configure os métodos de notificação. Isso garante que a equipe possa visualizar e tratar os problemas prontamente. Para mais informações, consulte Alert settings.

2. Inicie uma verificação e trate os problemas de governança detectados.

   • Verifique se há violações nos dados em relação aos itens de verificação antes da submissão e implantação.

     Antes da submissão e implantação dos dados, o DataWorks os verifica em relação aos itens configurados. Se houver violação de algum item, o sistema gera eventos de verificação. Visualize e trate esses eventos conforme necessário. Para mais informações, consulte Handle check events.

   • Execute verificações após a implantação da tarefa.

     Após a submissão e implantação dos dados, o DataWorks detecta problemas de governança com base nos itens configurados. Visualize e trate esses problemas. Para mais informações, consulte Handle check events.

   • Execute verificações do Asset 360.

     Utilize o recurso Asset 360 para detectar, visualizar e tratar problemas de governança em tarefas e tabelas específicas. Para mais informações, consulte Asset 360.

   • Realize a governança automatizada de materialized views.

     A Governança de Ativos de Dados suporta materialized views com governança automatizada e recomendações inteligentes. Trata-se de uma solução inteligente e automatizada para tarefas de computação de big data que lidam frequentemente com um grande número de subconsultas semelhantes. Para mais informações, consulte Materialized views.

   Caso sejam detectados problemas inválidos, adicione-os a uma lista de permissões ou cancele a implantação das tarefas ou tabelas relacionadas. Para mais informações, consulte Add an issue to a whitelist e Graceful undeployment.

3. Selecione uma dimensão analítica.

   • Com base em cenários de uso: O DataWorks oferece múltiplas dimensões, como produção de dados, uso de dados e gerenciamento de dados, para ajudar você a analisar a eficácia da governança e gerenciar os dados com eficiência.

   • Com base no uso racional de recursos: O DataWorks fornece estatísticas sobre consumo de recursos, status de execução de tarefas, contagem e armazenamento de tabelas MaxCompute, além de visões gerais e detalhadas do uso de recursos. Desenvolvedores e administradores de dados podem analisar o uso geral de recursos do workspace e otimizar a alocação com base nessas estatísticas. Para mais informações, consulte Asset analysis

4. Visualize os resultados da governança.

   Após tratar os problemas de governança, acesse a página Overview > Workbench para visualizar os resultados sob diferentes perspectivas. Ao analisar esses resultados, identifique rapidamente as dimensões e categorias com mais problemas, impulsionando a resolução e o alcance das metas de governança.

   A Governança de Ativos de Dados calcula pontuações de integridade com base em itens de governança usando um modelo de avaliação de integridade. Visualize as pontuações em relatórios de governança e rankings para compreender os resultados. Uma pontuação maior indica melhor eficácia da governança. Para mais informações, consulte a seção Quantitative assessment: health scores no tópico Visão geral.

Avaliação quantitativa: pontuações de integridade

A pontuação de integridade é uma métrica composta que reflete o estado dos seus ativos de dados. O sistema a calcula aplicando técnicas de processamento de dados e machine learning a metadados como comportamento do usuário, características dos dados e propriedades das tarefas em toda a produção, distribuição e gerenciamento de dados. O sistema de pontuação baseia-se em cinco domínios principais: armazenamento, computação, P&D, qualidade e segurança, com cinco métricas correspondentes. A página de pontuação de integridade exibe um gráfico de radar com as pontuações de governança para cinco dimensões: P&D, armazenamento, computação, qualidade e segurança. Também são fornecidas informações de tendência mês a mês.

As pontuações variam de 0 a 100. Quanto maior a pontuação, mais saudáveis são os ativos de dados. Isso ajuda você a usar os dados de forma segura, eficiente e confiável, garantindo a produção de dados e as operações de negócios. A Governança de Ativos de Dados utiliza um modelo integrado de avaliação de integridade para realizar uma avaliação quantitativa da eficácia da governança, gerando uma pontuação geral e uma pontuação para cada dimensão. A tabela a seguir descreve as classificações e faixas de pontuação.

• Excelente: [90, 100]

• Bom: [75, 90)

• Aprovado: [60, 75)

• Melhoria necessária: [30, 60)

• Insatisfatório: [0,30)

Termos

• Check item: Mecanismo proativo de governança aplicado durante o fluxo de trabalho de produção de dados. Realiza pré-verificações em etapas críticas, como execução e implantação de tarefas, para identificar problemas potenciais como varredura completa de tabela ou dependência de agendamento ausente. Se o sistema detectar um item não compatível, gera um evento de verificação e bloqueia automaticamente o processo. Isso impõe padronização e normaliza o processamento de dados.

• Governance Item: Define um problema potencial ou área de otimização identificada durante a governança de dados. Abrange áreas como padrões de desenvolvimento, qualidade de dados, conformidade de segurança e utilização de recursos. Os itens dividem-se em obrigatórios e opcionais. Os obrigatórios são ativados por padrão e não podem ser alterados, enquanto os opcionais podem ser ativados conforme necessário. Exemplos incluem Task running time is too long, Continuous error nodes e No one visits leaf nodes.

• Governance Issue: Problema detectado por uma varredura de item de governança que requer resolução.

• Governance unit: Consiste em um ou mais workspaces. Permite visualizar estatísticas sobre a pontuação geral de integridade, problemas de governança e eventos de verificação dos workspaces agrupados nessa unidade.

• Governance plan: A Governança de Ativos de Dados fornece modelos de planos de governança para diferentes cenários, projetados para atingir objetivos predeterminados em períodos específicos. Um modelo ajuda a identificar rapidamente itens de governança e verificação relevantes, além de descobrir oportunidades de otimização. Isso auxilia os responsáveis pela governança a acompanhar a eficácia e ajuda a equipe a cumprir os objetivos por meio de avaliações quantitativas.

• Knowledge Base: Contém definições dos itens de verificação e governança integrados na Governança de Ativos de Dados. Auxilia a equipe de governança a identificar e compreender problemas específicos rapidamente, fornecendo informações de referência e orientações práticas para melhorar a eficiência.

Documentação relacionada

Para mais informações sobre o uso de itens de verificação durante o desenvolvimento de dados, consulte Diagnose and govern node development issues.