DataWorks:Operações de tarefas de sincronização em lote

Visão geral

• A O&M das tarefas de sincronização em lote é a mesma de outras tarefas agendadas. Este tópico usa a sincronização em lote como exemplo. Para obter mais informações sobre a O&M de tarefas agendadas, consulte Perform basic O&M operations on scheduled tasks.

• Os Workspaces in standard mode oferecem suporte ao isolamento de ambiente de source de dados. Um source de dados com o mesmo nome pode ter duas configurações separadas para os ambientes de desenvolvimento e produção. É possível configurar dois bancos de dados ou instâncias diferentes. Esse isolamento protege as operações de dados durante os testes e o agendamento de produção, garantindo a segurança dos seus dados de produção.

Acesso ao Operation Center

Acesse o DataWorks console, mude para a região de destino e, em seguida, no painel de navegação à esquerda, selecione Operation Center > Auto Triggered Task O&M > Auto Triggered Task. Selecione o seu workspace na lista suspensa e clique em Operation Center.

Agendar e gerenciar tarefas

A sincronização em lote usa os recursos avançados de agendamento do DataWorks para a execução de tarefas automaticamente de forma recorrente. Use os parâmetros de agendamento do DataWorks para gravar dados incrementais e completos em partições específicas de uma tabela de destino. A O&M das tarefas de sincronização em lote é a mesma de outras tarefas agendadas. É possível executá-las manualmente ou acioná-las automaticamente conforme o agendamento.

Sincronizar dados históricos

Use os parâmetros de agendamento do DataWorks junto com o recurso de backfill de dados para sincronizar dados históricos em lote para uma tabela ou partição especificada no banco de dados ou data warehouse de destino, com base em uma única configuração de tarefa. Caso a tarefa esteja configurada para sincronização incremental e seja necessário sincronizar dados históricos nas partições correspondentes da tabela de destino, use o recurso de backfill de dados. O sistema substitui os parâmetros de agendamento automaticamente por valores específicos com base na data de negócios configurada para a operação de backfill. Para obter mais informações sobre o recurso de backfill de dados, consulte Backfill data.

Monitorar o status das tarefas

Acesse Operation Center > Intelligent Monitoring e configure regras de monitoramento e acompanhar o status de execução das tarefas, incluindo os status de conclusão, incompleto, erro e tempo limite. Para obter mais informações, consulte Configure monitoring rules.

Operações de grupo de recursos

• Monitoramento de grupo de recursos: monitore o uso dos grupos de recursos usados pelas tarefas no Operation Center. Para obter mais informações, consulte Monitor resource groups.

• Alternância de grupo de recursos: alterne o grupo de recursos usado pelas tarefas das seguintes maneiras.

  Nota

  Antes de alterar o grupo de recursos, verifique se o grupo de recursos de destino está conectado à rede do source de dados para evitar falhas na execução da tarefa causadas por problemas de conectividade de rede.

  Ambiente	Operações de alternância suportadas	Ponto de entrada
  Alternar o grupo de recursos do ambiente de produção	Alternância em lote	Acesse a página Operation Center > Auto Triggered Task e configure as definições. Selecione as tarefas que terão o grupo de recursos alterado e clique em Change Resource Group for Data Integration na barra de ferramentas inferior para alterar o grupo de recursos em lote.
  Alternar o grupo de recursos do ambiente de desenvolvimento Nota Depois de alternar o grupo de recursos no ambiente de desenvolvimento, envie e implante a tarefa novamente no ambiente de produção.	Alternância de tarefa única Alternância em lote	Acesse a página DataStudio e configure as definições. Alternância de tarefa única Acesse a página de edição do nó de destino e modifique o grupo de recursos na seção de recursos. Na seção Resource, defina Resource Group como dwGroup (10 CUs, assinatura) e defina Resource Usage (CU) como 1 CU. Clique em Connectivity Test e confirme se tanto o Source quanto o Destination MaxCompute (ODPS) exibem Connected. Alternância em lote Clique no ícone , selecione as tarefas que terão o grupo de recursos alterado e clique em Change Resource Group for Data Integration na barra de ferramentas inferior para alterar o grupo de recursos em lote.

Monitorar a qualidade dos dados das tabelas

Alguns sources de dados de destino no Data Integration oferecem suporte ao monitoramento da qualidade dos dados para tabelas de saída. Acesse a página de regras de qualidade de dados e configure regras de qualidade para as tabelas de destino nas quais os dados são gravados. Para tabelas com regras de monitoramento de qualidade de dados configuradas, o sistema aciona as verificações de qualidade após a conclusão da execução do nó agendado associado (execução da lógica de código do nó). A plataforma DataWorks determina se a tarefa deve ser encerrada devido a uma falha na verificação da regra de qualidade com base no tipo de regra (regra forte ou regra fraca) e no resultado da verificação. A falha em uma regra forte bloqueia a execução do nó downstream para evitar a propagação de dirty data. Para saber se o source de dados de destino no Data Integration oferece suporte ao monitoramento da qualidade dos dados e como usá-lo, consulte Data quality monitoring.

Se as regras de qualidade de dados estiverem configuradas para as tabelas de saída das tarefas de sincronização em lote, verifique a conectividade de rede entre o grupo de recursos usado pela tarefa e o source de dados de destino.

Visualizar logs de execução de tarefas em lote

Visualizar o painel de sincronização em lote

Acesse também Dashboard > Batch Synchronization e visualize métricas de execução de tarefas de sincronização em lote, incluindo a distribuição do status de execução, o progresso da sincronização de dados, estatísticas do volume de dados sincronizados e detalhes de execução da tarefa. Esses detalhes podem ser filtrados por sources de dados de origem e destino, e pelo uso de rede pública pela tarefa. Para obter mais informações, consulte View the batch synchronization dashboard.

Diagnosticar informações de execução de tarefas usando o Data Agent

Visualize as informações de execução de uma tarefa de sincronização em lote, como taxa de sincronização, progresso e dirty data, na guia Data Integration da página de diagnóstico de execução. Para identificar a causa de falhas ou lentidão em uma tarefa, use o Data O&M Agent (Data Agent) para diagnosticar a tarefa. Essa ferramenta combina a camada de agendamento do DataWorks com a camada do mecanismo do Data Integration e retorna a causa raiz, as principais evidências e as sugestões de correção.

1. No Operation Center, localize a instância em execução da tarefa em lote na lista de instâncias e clique em AI Diagnostics na coluna Actions. Também é possível passar o mouse sobre uma instância de nó no DAG da instância e clicar em AI Diagnostics na barra de ferramentas de atalho. O painel do Data O&M Agent abre automaticamente no lado direito da página e envia o comando de diagnóstico.

2. Também é possível iniciar um diagnóstico a partir da entrada global do Data Agent. Abra o painel Data Agent no canto superior direito de uma página do DataWorks. No Operation Center, o painel abre o Data O&M Agent por padrão. Ou clique em Data Agent em AI Workbench no painel de navegação à esquerda do Operation Center para abrir o Data O&M Agent em página inteira. Em seguida, insira Diagnose Instance: <Instance ID>. O ID da instância deve ser um número. IDs de tarefa e IDs de nó não localizam um registro de execução específico.

3. Revise o relatório de diagnóstico. O relatório contém Key Error Logs, Error Analysis, Suggested Solutions e Quick Actions (incluindo Edite o código, Rerun e Acesse o Data Map). Um indicador de progresso de status na parte superior da página exibe o status de aprovação/falha de cada estágio: Upstream Dependency, Scheduled Check, Scheduling Resource e Task Execution.

4. Para visualizar as informações brutas de execução, acesse a página Execute diagnostics e clique na guia Data Integration. As guias a seguir fornecem informações detalhadas.

   Parâmetro	Descrição
   Logs	Na página Logs, visualize os logs detalhados das tarefas de sincronização do Data Integration.
   Progress	Na página Progress, visualize as informações detalhadas de progresso das tarefas de sincronização do Data Integration, incluindo Synchronized Data Records, Synchronized Bytes, Synchronization Rate for Synchronized Data Records e Synchronization Rate for Synchronized Bytes. Nesta página, você também pode: Usar o filtro de tempo para filtrar as informações de sincronização de um intervalo de tempo específico. Nota O filtro de tempo permite visualizar informações detalhadas de até 15 dias. No lado direito da lista de processos, clique no ícone para exibir mais colunas. Na área da lista de processos, use a caixa de diálogo de configurações de coluna e selecione as colunas de métricas de monitoramento a serem exibidas. As colunas disponíveis incluem Subtask ID, Start Time, Synchronized Records, Average Synchronization Rate (records), Average Synchronization Rate (bytes), Execution Machine, Average GC Duration, GC Count, Status, End Time, Duration, Reader Wait Time, Writer Wait Time e Dirty Data Count. Na lista de processos, clique em um item específico e visualize o gráfico de tendência de uma métrica.
   Instance Overview	Se a instância for uma instância agendada, acesse a página Instance Overview e visualize os detalhes de comparação em diferentes ciclos da instância. Visualize o status da tarefa e o Instance ID correspondente na Task List. Clique em um Instance ID para visualizar os detalhes da tarefa. Use também o gráfico de barras para comparar as diferenças de Sync Rate, Synchronized Data Records, Waiting time e Synchronization Duration entre diferentes instâncias.

Próximas etapas: problemas de qualidade de dados e otimização de tarefas para sincronização em lote

• Throttle batch synchronization

• Troubleshoot data quality issues in batch synchronization

• Analyze batch synchronization logs

O progresso da sincronização completa de uma tarefa de sincronização em lote no nível do banco de dados permanece em 0%

Se o progresso da sincronização completa de uma tarefa de sincronização em lote no nível do banco de dados exibir 0% continuamente, investigue as seguintes causas uma a uma.

1. Verifique se a tarefa está no estado WAIT

   Verifique o status da instância no Operation Center. O estado WAIT indica que a tarefa está aguardando a conclusão das dependências upstream ou a alocação de recursos de agendamento, e o progresso da sincronização completa não avança. Depois que as dependências upstream forem atendidas e os recursos estiverem disponíveis, a tarefa começará a ser executada automaticamente.

2. Verifique se o grupo de recursos tem CUs suficientes

   CUs insuficientes no grupo de recursos colocam as tarefas na fila. Verifique o uso de CU na página de monitoramento do grupo de recursos. Se o uso estiver consistentemente próximo de 100%, aumente a capacidade do grupo de recursos ou reduza o número de tarefas simultâneas.

3. Verifique se a conectividade de rede está normal

   Se não houver conectividade de rede entre o grupo de recursos e o source de dados, a tarefa de sincronização não poderá ler ou gravar dados. Execute um teste de conectividade na página de configuração do source de dados e confirme se tanto o source quanto o destino estão conectados.

4. Verifique se as subtarefas foram geradas e estão em execução

   Uma tarefa de sincronização em lote no nível do banco de dados é composta por várias subtarefas. Verifique a lista de subtarefas na página Progress da guia Data Integration no diagnóstico de execução e verifique se as subtarefas foram geradas e estão no estado de execução. Se nenhuma subtarefa foi gerada, verifique se as regras de seleção de tabela na configuração da tarefa correspondem corretamente às tabelas source.

Perguntas frequentes sobre operações de tarefas de sincronização em lote

• If the amount of dirty data exceeds the limit during a batch synchronization task, is the already synchronized data retained?

• How do I troubleshoot a batch synchronization task that takes a long time to execute?

• Data is missing after a batch synchronization task is completed

• How do I troubleshoot and locate dirty data?