Para garantir a execução adequada das tarefas, após desenvolvê-las no Data Studio e implantá-las no ambiente de produção, acesse o Operation Center para gerenciar tarefas de sincronização em lote, monitorar o status de execução, alterar grupos de recursos de sincronização e visualizar logs de execução. Este tópico descreve as operações comuns para tarefas de sincronização em lote.
Visão geral
A O&M de tarefas de sincronização em lote segue o mesmo padrão de outras tarefas agendadas. Este tópico usa a sincronização em lote como exemplo. Para obter mais informações sobre O&M de tarefas agendadas, consulte Executar operações básicas de O&M em tarefas agendadas.
Os Workspaces no modo padrão oferecem isolamento de ambiente de fonte de dados. Uma fonte de dados com o mesmo nome pode ter duas configurações separadas para os ambientes de desenvolvimento e produção. Configure dois bancos de dados ou instâncias diferentes para isolar as operações de dados durante testes e agendamentos de produção, garantindo a segurança dos dados de produção.
Acessar o Operation Center
Faça login no console do DataWorks, mude para a região de destino e, no painel de navegação à esquerda, selecione . Selecione seu workspace na lista suspensa e clique em Operation Center.
Agendar e gerenciar tarefas
A sincronização em lote utiliza os recursos de agendamento do DataWorks para executar tarefas automaticamente de forma recorrente. Use os parâmetros de agendamento do DataWorks para gravar dados incrementais e completos em partições específicas de uma tabela de destino. A O&M de tarefas de sincronização em lote é idêntica à de outras tarefas agendadas: execute-as manualmente ou acione-as automaticamente por cronograma.
|
Ações |
Descrição |
|
Executar uma tarefa de sincronização em lote |
Após implantar uma tarefa, acesse a página para visualizar a tarefa implantada. O sistema de agendamento executa a tarefa automaticamente com base nas configurações de cronograma definidas. Também é possível acionar a tarefa manualmente.
|
|
Pausar o agendamento de uma tarefa de sincronização em lote |
Na página Auto Triggered Task, pause (congele) uma tarefa individual para interromper suas execuções agendadas por um período e bloquear a execução de seus nós downstream. Nota A execução de uma tarefa agendada gera instâncias. Caso uma instância específica e suas instâncias downstream não precisem ser executadas, congele a instância. |
|
Retomar o agendamento de uma tarefa de sincronização em lote |
Na página Auto Triggered Task, retome (descongele) uma tarefa congelada para que ela volte ao agendamento normal. Nota A execução de uma tarefa agendada congelada gera instâncias congeladas. Se as instâncias congeladas e suas instâncias downstream precisarem ser executadas, descongele as instâncias. |
Sincronizar dados históricos
Ao combinar parâmetros de agendamento do DataWorks com o recurso de backfill de dados, sincronize dados históricos em lote para uma tabela ou partição especificada no banco de dados ou data warehouse de destino, usando uma única configuração de tarefa. Se sua tarefa estiver configurada para sincronização incremental e for necessário sincronizar dados históricos para as partições correspondentes da tabela de destino, utilize o recurso de backfill de dados. Os parâmetros de agendamento são substituídos automaticamente por valores específicos com base na data de negócios configurada para a operação de backfill. Para mais detalhes sobre o recurso de backfill de dados, consulte Backfill de dados.
Monitorar o status da tarefa
Acesse para configurar regras de monitoramento do status de execução das tarefas, incluindo status concluído, incompleto, erro e tempo limite esgotado. Para mais informações, consulte Configurar regras de monitoramento.
Operações de grupo de recursos
Monitoramento de grupos de recursos: Monitore o uso dos grupos de recursos utilizados pelas tarefas no Operation Center. Para mais informações, consulte Monitorar grupos de recursos.
-
Troca de grupos de recursos: Altere o grupo de recursos usado pelas tarefas das seguintes maneiras.
NotaAntes de alterar o grupo de recursos, certifique-se de que o grupo de recursos de destino esteja conectado à rede da fonte de dados para evitar falhas na execução da tarefa causadas por problemas de conectividade de rede.
Ambiente
Operações de troca suportadas
Ponto de entrada
Trocar o grupo de recursos do ambiente de produção
Troca em lote
Acesse a página para definir as configurações.
Selecione as tarefas cujo grupo de recursos deseja alterar e clique em Change Resource Group for Data Integration na barra de ferramentas inferior para alterar o grupo de recursos em lote.
Trocar o grupo de recursos do ambiente de desenvolvimento
NotaApós trocar o grupo de recursos no ambiente de desenvolvimento, reenvie e implante a tarefa no ambiente de produção.
-
Troca de tarefa única
-
Troca em lote
Acesse a página DataStudio para configurar as definições.
-
Troca de tarefa única
Vá para a página de edição do nó de destino e modifique o grupo de recursos na seção de recursos. Na seção Resource, defina Resource Group como dwGroup (10 CUs, assinatura) e configure Resource Usage (CU) para
1 CU. Clique em Connectivity Test e confirme se tanto o Source quanto o Destination MaxCompute (ODPS) exibem Connected. -
Troca em lote
Clique no ícone
, selecione as tarefas cujo grupo de recursos deseja alterar e clique em Change Resource Group for Data Integration na barra de ferramentas inferior para alterar o grupo de recursos em lote.
-
Monitorar a qualidade dos dados das tabelas
Algumas fontes de dados de destino no Data Integration suportam monitoramento da qualidade de dados para tabelas de saída. Acesse a página de regras de qualidade de dados para configurar regras para as tabelas de destino onde os dados são gravados. Para tabelas com regras de monitoramento de qualidade de dados configuradas, as verificações são acionadas após a conclusão da execução do nó agendado associado (execução da lógica de código do nó). A plataforma DataWorks determina se a tarefa deve ser encerrada devido a uma falha na verificação da regra de qualidade com base no tipo de regra (regra forte ou fraca) e no resultado da verificação. Uma falha em regra forte bloqueia a execução de nós downstream para evitar a propagação de dados incorretos. Para informações sobre se a fonte de dados de destino no Data Integration suporta monitoramento de qualidade de dados e como utilizá-lo, consulte Monitoramento de qualidade de dados.
Caso existam regras de qualidade de dados configuradas para as tabelas de saída de tarefas de sincronização em lote, atente-se à conectividade de rede entre o grupo de recursos usado pela tarefa e a fonte de dados de destino.
Visualizar logs de execução de tarefas em lote
Acesse o Operation Center. Após a conclusão da execução de instâncias agendadas, instâncias de backfill ou instâncias de teste, visualize os Operational Logs da tarefa no painel DAG da instância. Para mais informações, consulte Visualizar detalhes da instância.
Para entender os parâmetros nos logs durante a execução, consulte Parâmetros de log.
Visualizar o painel de sincronização em lote
Também é possível acessar para visualizar métricas de execução de tarefas de sincronização em lote, incluindo distribuição de status de execução, progresso da sincronização de dados, estatísticas de volume de dados sincronizados e detalhes de execução da tarefa (filtráveis por fontes de dados de origem e destino, e pelo uso de rede pública). Para mais informações, consulte Visualizar o painel de sincronização em lote.
Usar o Logview para visualizar informações de execução da tarefa
O Logview do Data Integration coleta, analisa e visualiza métricas detalhadas de sincronização, como taxas de sincronização e logs, com uma granularidade mais fina durante as tarefas de sincronização de dados.
No Operation Center, localize a instância em execução da tarefa em lote e clique em Perform Diagnosis. Na página Instance View, encontre a tarefa de destino na lista de instâncias e clique em Run Diagnosis na coluna Actions.
-
Na página Executar diagnóstico, clique na aba para visualizar resultados de análise de logs de erro gerados por modelos de linguagem grandes, auxiliando na solução de problemas.
A seção de diagnóstico inteligente fornece análises de três modelos de linguagem grandes: Qwen, DeepSeek e DW Knowledge Base, exibindo Key Error Logs, Error Analysis, Suggested Solutions e Quick Actions (incluindo Edit Code, Rerun e Go to Data Map). Um indicador de progresso de status no topo da página mostra o status de aprovação/falha de cada etapa: Upstream Dependency, Scheduled Check, Scheduling Resource e Task Execution.
Parâmetro
Descrição
Logs
Na página Logs, visualize logs detalhados das tarefas de sincronização do Data Integration.
Progress
Na página Progress, visualize informações detalhadas de progresso das tarefas de sincronização do Data Integration, incluindo Synchronized Data Records, Synchronized Bytes, Synchronization Rate for Synchronized Data Records e Synchronization Rate for Synchronized Bytes.
Nesta página, também é possível realizar as seguintes operações:
-
Utilize o filtro de tempo para filtrar informações de sincronização de um intervalo de tempo específico.
NotaO filtro de tempo permite visualizar informações detalhadas de até 15 dias.
-
No lado direito da lista de processos, clique no ícone
para exibir mais colunas. Na área da lista de processos, use a caixa de diálogo de configurações de coluna para selecionar as colunas de métricas de monitoramento a serem exibidas. As colunas disponíveis incluem Subtask ID, Start Time, Synchronized Records, Average Synchronization Rate (records), Average Synchronization Rate (bytes), Execution Machine, Average GC Duration, GC Count, Status, End Time, Duration, Reader Wait Time, Writer Wait Time e Dirty Data Count. -
Na lista de processos, clique em um item específico para visualizar o gráfico de tendências de uma métrica.
Instance Overview
Se a instância for uma instância agendada, acesse também a página Instance Overview para visualizar detalhes comparativos entre diferentes ciclos da instância.
-
Visualize o status da tarefa e o Instance ID correspondente na Task List. Clique em um Instance ID para ver os detalhes da tarefa.
-
Use o gráfico de barras para comparar as diferenças de Sync Rate, Synchronized Data Records, Waiting time e Synchronization Duration entre diferentes instâncias.
-
Próximos passos: Problemas de qualidade de dados e otimização de tarefas para sincronização em lote
O progresso da sincronização completa de uma tarefa de sincronização em lote no nível do banco de dados permanece em 0%
Se o progresso da sincronização completa de uma tarefa de sincronização em lote no nível do banco de dados mostrar continuamente 0%, solucione as seguintes causas possíveis uma a uma.
-
Verificar se a tarefa está no estado WAIT
Verifique o status da instância no Operation Center. O estado WAIT indica que a tarefa está aguardando a conclusão de dependências upstream ou a alocação de recursos de agendamento, e o progresso da sincronização completa não avança. Assim que as dependências upstream forem atendidas e os recursos estiverem prontos, a tarefa iniciará automaticamente.
-
Verificar se o grupo de recursos possui CUs suficientes
CUs insuficientes no grupo de recursos fazem com que as tarefas entrem em fila. Verifique o uso de CUs na página de monitoramento do grupo de recursos. Se o uso estiver consistentemente próximo de 100%, aumente a escala do grupo de recursos ou reduza o número de tarefas simultâneas.
-
Verificar se a conectividade de rede está normal
Se a rede entre o grupo de recursos e a fonte de dados não estiver conectada, a tarefa de sincronização não conseguirá ler ou gravar dados. Execute um teste de conectividade na página de configuração da fonte de dados para confirmar se tanto a origem quanto o destino estão conectados.
-
Verificar se as subtarefas foram geradas e estão em execução
Uma tarefa de sincronização em lote no nível do banco de dados consiste em múltiplas subtarefas. Verifique a lista de subtarefas na página Progress no Logview para confirmar se as subtarefas foram geradas e estão no estado de execução. Se nenhuma subtarefa tiver sido gerada, verifique se as regras de seleção de tabelas na configuração da tarefa correspondem corretamente às tabelas de origem.