O DataWorks oferece suporte ao gerenciamento de processos em etapas essenciais do desenvolvimento de dados e permite aplicar verificações de validação alinhadas aos requisitos do seu negócio.
Limitações
Este recurso está disponível apenas no DataWorks Enterprise Edition e em versões posteriores.
Como funciona
Os workspaces do DataWorks operam em dois modos: standard mode and basic mode. Cada modo segue um fluxo diferente de desenvolvimento de nós, conforme ilustrado nos diagramas a seguir.
-
Fluxo de trabalho de desenvolvimento de nós em um workspace no modo padrão
-
Fluxo de trabalho de desenvolvimento de nós em um workspace no modo básico
Aplique o gerenciamento de processos em momentos críticos, como antes da depuração de um nó, da implantação no ambiente de desenvolvimento ou da implantação no ambiente de produção.
|
Etapa |
Exemplo de verificação |
|
Antes da execução de um nó |
No painel Debugging Configurations à direita, em DataWorks Configuration, defina o grupo de recursos como Serverless_Resource_Group e a cota de computação como Default post-paid Quota. No editor, insira a instrução SQL |
|
Antes da implantação de um nó no ambiente de desenvolvimento |
Ao implantar um nó, o sistema executa o Development Checker para revisar o código SQL. Clique em Development Checker no fluxo de trabalho de implantação. O painel Operation Checks à esquerda exibe o registro da verificação e seu status. Clique em um registro para abrir o painel Check Details e visualizar os resultados de cada item verificado, como Full Table Scan Check e High-Cost SQL Check. Para itens com status Warning, clique em Mark as Passed para aprová-los manualmente. |
|
Antes da implantação de um nó no ambiente de produção |
Na etapa Production Checker do pipeline de implantação, clique em View Details ou Initiate Code Review. O painel esquerdo lista os registros SQL a serem implantados, como testSQL. Clique em um registro para abrir o painel Check Details correspondente à direita. Após confirmar que todas as verificações foram aprovadas, prossiga com a implantação. |
O Data Asset Governance e a Open Platform permitem adicionar verificações de validação nas principais etapas do processo de desenvolvimento de dados.
|
Módulo de recurso |
Verificação pré-execução |
Verificação pré-implantação em dev |
Verificação pré-implantação em prod |
Gerenciamento de processos |
|
Data Asset Governance |
|
|
|
O Data Asset Governance oferece vários itens de verificação integrados ativáveis conforme necessário. Quando ativada, a operação correspondente aciona a lógica de validação integrada, e o processo só continua após a aprovação de todas as verificações. |
|
Open Platform |
|
|
|
Caso os itens de verificação integrados não atendam aos seus requisitos de gerenciamento de processos, utilize a Open Platform para desenvolver programas de validação personalizados para eventos específicos e integrá-los ao fluxo de trabalho de desenvolvimento de dados. |
As seções a seguir utilizam o fluxo de trabalho de workspace no modo padrão como exemplo para descrever essas capacidades de gerenciamento de processos.
Verificações integradas: Data Asset Governance
O Data Asset Governance disponibiliza diversos itens de verificação integrados ativáveis sob demanda. Ao executar uma operação relevante, a lógica de validação integrada roda automaticamente. O processo só avança depois que todas as verificações são aprovadas.
No painel de navegação à esquerda do Data Asset Governance, escolha Governance Settings > Check Items para acessar a página Check Item Configuration. Clique em R&D. Na coluna Effective Checkpoint, identifique o ponto de acionamento de um item de verificação. Na coluna Enable, alterne o switch para ativar ou desativar o item correspondente.
Para depuração de nós: Ative os itens cujo Effective Checkpoint seja Pre-event for Code Running.
Para implantação de nós no ambiente de desenvolvimento: Ative os itens cujo Effective Checkpoint seja Pre-event for Node Commit.
Para implantação de nós no ambiente de produção: Ative os itens cujo Effective Checkpoint seja Pre-event for Node Deployment.
Configuração
Ative os itens de verificação no Data Asset Governance e especifique o workspace onde eles terão efeito. Para instruções gerais, consulte Configure governance items.
Personalização da lógica de validação: Open Platform
Se os itens de verificação integrados não atenderem às suas necessidades, use a Open Platform para criar programas de validação personalizados para eventos específicos e integrá-los ao fluxo de trabalho de desenvolvimento de dados.
O OpenEvent permite assinar mensagens de eventos referentes a operações de usuários no Data Studio. Após receber uma mensagem de evento, o Extensions possibilita a criação de um programa personalizado de validação e aprovação. Em seguida, envie os resultados da aprovação de volta ao DataWorks por meio de um callback da OpenAPI. Para mais informações, consulte OpenEvent overview e Extensions overview.
Ao usar a Open Platform para assinar eventos e validar operações críticas no Data Studio, a execução de uma operação aciona o processo de validação. O fluxograma a seguir ilustra o funcionamento de uma verificação pré-execução.
Configuração
Assine eventos do Data Studio na Open Platform, desenvolva uma extensão para processar esses eventos, publique a extensão no DataWorks e ative-a no workspace desejado.
Para depuração de nós: Assine e processe eventos relacionados à execução, como pre-event for file running.
Para implantação de nós no ambiente de desenvolvimento: Assine e processe eventos relacionados ao commit, como Pre-event for Node Commit e pre-event for table commit.
Para implantação de nós no ambiente de produção: Assine e processe eventos relacionados à implantação, como Pre-event for Node Deployment e pre-event for table deployment.
Para obter a lista de tipos de eventos suportados pela Open Platform, consulte Extensions overview.
Para instruções gerais sobre o uso da Open Platform, consulte Develop and deploy an extension using a self-managed service.
-
Para melhores práticas em cenários típicos de gerenciamento de processos, veja os tópicos abaixo: