Modelagem reversa: crie modelos a partir de tabelas físicas - DataWorks: Central de Documentação do Alibaba Cloud

A modelagem reversa importa tabelas físicas existentes do mecanismo de computação para o DataWorks Dimensional Modeling como modelos lógicos. Isso permite gerenciar todos os modelos centralmente, sem precisar recriá-los do zero.

A modelagem de dados do DataWorks segue a metodologia de modelagem dimensional Kimball. É possível projetar e criar tabelas de dimensão, tabelas de fatos, tabelas de agregação e tabelas de aplicação, publicar modelos em mecanismos de computação e aplicar modelagem reversa em tabelas físicas existentes para convertê-las em modelos lógicos.

Perspectiva de modelagem

A modelagem dimensional organiza as tabelas em três níveis: Camada Comum, Camada de Aplicação e Sem Categoria. A Camada Comum cria métricas unificadas reutilizáveis, dimensões e dados detalhados de fatos, além de permitir o gerenciamento tanto pela perspectiva de domínio de dados quanto de categoria de negócios. Já a Camada de Aplicação atende a necessidades estatísticas específicas e suporta apenas a perspectiva de categoria de negócios. Após selecionar um nível, crie e gerencie as tabelas de modelo na árvore de diretórios correspondente.

Pré-requisitos

O mecanismo de computação já deve conter diversas tabelas físicas e ter uma fonte de dados criada no workspace de destino do DataWorks. Para mais informações sobre a criação de fontes de dados, consulte Data source management.
As camadas de data warehouse devem estar criadas para definir a qual camada cada modelo pertence. Para mais informações, consulte Define data warehouse layers.
A Camada Comum processa e integra dados públicos da camada de importação de dados para estabelecer dimensões e métricas unificadas, criando dados de fatos e agregação reutilizáveis. A Camada de Aplicação utiliza os dados processados pela Camada Comum para gerar estatísticas personalizadas para aplicações ou produtos específicos.

Os modelos podem pertencer à Common Layer ou à Application Layer. Conclua os preparativos correspondentes para cada camada:
- Common Layer:
  - Crie um domínio de dados. O domínio de dados define o escopo dos dados de negócios abrangidos pelo modelo. Para mais informações, consulte Data Domain.
  - Crie um processo de negócios. O processo de negócios define a atividade empresarial específica analisada pelo modelo. Para mais informações, consulte Business Process.
- Application Layer:
  - Crie um data mart. O data mart define a categoria de dados para um cenário de aplicação ou produto específico. Para mais informações, consulte Data Mart.
  - Crie uma área de assunto. A área de assunto define o tema específico de dados de negócios abrangido pelo modelo. Para mais informações, consulte Subject Area.

Limitações

A modelagem reversa é compatível apenas com tabelas no ambiente de produção do MaxCompute e do E-MapReduce (EMR) Hive.

Processo de modelagem

A modelagem reversa importa tabelas físicas existentes de um mecanismo de computação de big data e as converte em modelos no DataWorks Dimensional Modeling. 逆向建模流程

Configure uma política de modelagem reversa.
- Defina o escopo da modelagem: antes de criar modelos, determine quais tabelas passarão por modelagem reversa com base nos requisitos de negócios.
  
  Especifique o workspace e a instância do mecanismo de computação e escolha um método de correspondência de nome de tabela: correspondência exata ou aproximada. As tabelas correspondidas serão então convertidas em modelos.
- Defina regras de modelagem: especifique a camada de data warehouse e a convenção de nomenclatura para os modelos gerados.
  
  Use um verificador ou um método personalizado para padronizar os nomes dos modelos. Uma convenção de nomenclatura consistente esclarece o tipo de negócio e a granularidade dos dados do modelo. Para mais informações sobre verificadores, consulte Configure data warehouse layer checkers e Use checkers.
- Escolha um método de execução: a atualização completa cria todos os modelos de destino, enquanto a atualização incremental cria apenas os modelos que ainda não existem no Dimensional Modeling.
Nota
A modelagem reversa é irreversível. Após gerar modelos, não é possível modificar a política. Planeje a política cuidadosamente com base nos requisitos de negócios.

Para mais informações, consulte Configure a reverse modeling policy.
Analise e corresponda modelos.

O DataWorks analisa as tabelas e identifica os modelos a serem criados com base na política definida.
Confirme as informações do modelo.

Os modelos iniciais gerados pelo DataWorks podem exigir ajustes. Revise e modifique as informações básicas, como Data Domain e Business Process, para alinhá-las aos requisitos de negócios. Para mais informações, consulte Confirm model information.
Gere os modelos finais.
Após a geração, visualize o status e os detalhes dos modelos. Se houver falha na geração de algum modelo, verifique as informações de erro para identificar e resolver o problema rapidamente.
Nota
- Modelos gerados com sucesso são materializados automaticamente no mecanismo de computação correspondente. Não é necessário publicá-los.
- Modelos gerados com sucesso são armazenados no Dimensional Modeling. Acesse a página do Dimensional Modeling para visualizá-los e gerenciá-los. Para mais informações, consulte Model management.

Procedimento

Acesse a página Reverse Modeling.
1. Faça login no console do DataWorks. Na região de destino, clique em Data Development and O&M > Data Modeling no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Modeling.
2. Na barra de navegação superior da página Data Modeling, clique em Dimensional Modeling para acessar a página Dimensional Modeling.
3. No painel de navegação à esquerda da página Dimensional Modeling, clique em Reverse Modeling para acessar a página Reverse Modeling.
Inicie a modelagem.
- Se esta for a primeira vez que você usa a modelagem reversa, clique em Start Now no centro da página para começar.
- Caso já tenha usado a modelagem reversa anteriormente, clique em Start Reverse Modeling no canto superior direito da página Modeling Tasks.

Configure uma política de modelagem reversa.

Nota

A modelagem reversa é irreversível. Após gerar modelos, não é possível modificar a política. Planeje a política cuidadosamente com base nos requisitos de negócios.

Configure as definições da política.

Parâmetro	Descrição
Workspace	Selecione o workspace do DataWorks que contém as tabelas para modelagem reversa. Nota Somente workspaces do DataWorks onde o usuário atual é membro podem ser selecionados. Para selecionar um workspace diferente, adicione o usuário como membro desse workspace. Para mais informações, consulte Manage permissions on workspace-level services.
Compute Engine Type	A modelagem reversa é compatível apenas com tabelas físicas de projetos MaxCompute e E-MapReduce (EMR) Hive no ambiente de produção.
Compute Engine Instance	Selecione a instância do mecanismo de computação que contém as tabelas para modelagem reversa.
Table Name Matching Rule	Selecione um método para corresponder tabelas no mecanismo de computação de destino. As tabelas correspondidas passarão por modelagem reversa. Métodos disponíveis: Fuzzy Match: insira uma palavra-chave para corresponder a todas as tabelas cujos nomes contenham essa palavra-chave. Exact Match: insira o nome completo e exato de uma ou mais tabelas. Nota Para especificar vários nomes de tabela, separe-os com ponto e vírgula (;) sem espaço após o caractere. Se nenhuma tabela for correspondida, a tarefa falhará e nenhum modelo será gerado.
Data Layer of Model After Reverse Modeling	Common Layer: selecione esta camada para criar tabelas de fatos, tabelas de dimensão ou tabelas de agregação. Application Layer: selecione esta camada para criar tabelas de aplicação ou tabelas de dimensão.
Table Naming Rule	Este recurso analisa os nomes das tabelas correspondidas pela Table Name Matching Rule. Ele padroniza os nomes dos modelos e os associa às camadas de data warehouse correspondentes. Detalhes: Regra de análise O sistema analisa os nomes das tabelas correspondidas e os sublinhados (_) contidos neles. Um nome de tabela pode conter até nove sublinhados. Os segmentos entre sublinhados podem ser configurados para representar informações como Business Process, Data Domain ou conteúdo Custom. Se o nome de uma tabela contiver um identificador de camada de data warehouse, o modelo gerado será atribuído automaticamente a essa camada. Nota Se o nome de uma tabela não contiver os identificadores de camada necessários, como Data Domain ou Business Process, a atribuição de camada do modelo ficará vazia. Atribua a camada posteriormente na etapa Confirm Model Information. Método de análise Table Name Checker: selecione um verificador pré-configurado para analisar nomes de tabelas. Para saber como criar um verificador, consulte Configure data warehouse layer checkers e Use checkers. Custom Rule: crie uma convenção de nomenclatura personalizada combinando elementos como Business Process, Data Domain, Business Category e conteúdo Custom para analisar nomes de tabelas.
Execution Method	Selecione um método para criar modelos: Full Update: o DataWorks cria modelos para todas as tabelas correspondidas no Dimensional Modeling. Use este método para regenerar todas as tabelas correspondidas como novos modelos. Nota Se já existir um modelo para uma tabela correspondida no Dimensional Modeling, selecionar Full Update excluirá o modelo existente e criará um novo. Incremental Update: o DataWorks executa as seguintes ações nas tabelas correspondidas: Identifica e filtra tabelas que já possuem modelos correspondentes no Dimensional Modeling. Cria novos modelos apenas para tabelas correspondidas que ainda não possuem um modelo no Dimensional Modeling. Prefira este método para evitar recriar modelos existentes e inalterados.

Clique em Create Model para analisar as tabelas com base na política.

Confirme as informações do modelo.
1. Confirme as informações do modelo.
  
  O DataWorks gera modelos iniciais com base na sua política. Ajuste informações como Table Type e seus associados Data Layer e Data Domain. Também é possível excluir tabelas que você não deseja modelar.
2. Clique em Generate Model para criar os modelos.
Visualize os resultados.
Após a geração dos modelos, visualize a quantidade de modelos criados com sucesso de cada tipo e os detalhes de quaisquer modelos com falha. Clique em Error Logs para identificar e solucionar problemas.
Nota
- Modelos gerados com sucesso são materializados automaticamente no mecanismo de computação correspondente. Não é necessário publicá-los.
- Modelos gerados com sucesso são armazenados no Dimensional Modeling. Acesse a página do Dimensional Modeling para visualizá-los e gerenciá-los. Para mais informações, consulte Model management.

Visualizar tarefas de modelagem

Na página Reverse Modeling > Modeling Tasks, visualize os detalhes e logs de operação das tarefas criadas.

Área

Descrição

Área de filtro

Filtre tarefas por Task ID, Operated By ou Operation Date.

Área da lista de tarefas

Esta área exibe detalhes de cada tarefa, como regras e resultados.

Para uma tarefa executada, clique em View Logs para visualizar as informações de log.
Para uma tarefa pendente, clique em View Task para retornar à página de detalhes e continuar o processo.

Próximas etapas

Após concluir a modelagem reversa, você pode:

Visualizar os modelos criados no diretório de modelos na página do Dimensional Modeling. Para mais informações, consulte Materialize a logical model.
Usar o DataStudio para executar tarefas relacionadas ao desenvolvimento de dados. Para obter uma visão geral dos recursos do DataStudio, consulte DataStudio feature guide.