O Operation Center é o local onde você gerencia e monitora tarefas em execução no ambiente de produção. Este guia apresenta o fluxo completo de O&M para um nó com acionamento automático, desde a verificação da configuração após a publicação, passando por testes de fumaça e reprocessamento de dados históricos, até a configuração de alertas de monitoramento para manter a tarefa sob controle.
Pré-requisitos
Antes de começar, certifique-se de ter:
Um nó com acionamento automático chamado
result_tablecriado e publicado. Para mais detalhes, consulte Data Studio.
Todas as etapas deste guia utilizam o nó result_table como exemplo. Aplique as mesmas operações às suas próprias tarefas conforme necessário.
Contexto
O Operation Center oferece suporte ao gerenciamento de operações para nós com acionamento automático, tarefas únicas e tarefas de sincronização em tempo real. Ele também fornece monitoramento para tarefas e os recursos que elas utilizam, permitindo detectar e responder rapidamente a exceções.
Este guia aborda o fluxo de trabalho principal para colocar uma tarefa publicada em um estado estável e monitorado. Para operações mais avançadas, consulte:
Operações básicas de O&M para nós com acionamento automático — publicar, despublicar ou congelar tarefas
Visão geral do Operation Center — referência completa de recursos
Abrir o Operation Center
Faça login no console do Operation Center. Mude para a região de destino, selecione seu workspace na lista suspensa e clique em Enter Operation Center.
Procedimento
O fluxo de trabalho possui duas fases:
Fase 1 — Testar e verificar a tarefa
Visualizar a configuração do nó — Confirme se os parâmetros de agendamento e as configurações do grupo de recursos estão corretos.
Executar um teste de fumaça — Verifique se o nó executa corretamente em produção antes de depender dele.
Reprocessar dados históricos — Reprocesse dados de um intervalo de tempo passado.
Verificar instâncias recorrentes — Confirme se o agendamento do nó ocorre conforme esperado.
Validar resultados da execução — Confirme a gravação dos dados na tabela de destino.
Fase 2 — Configurar monitoramento
Criar uma regra de monitoramento personalizada — Receba alertas quando o nó falhar na execução.
Criar uma linha de base inteligente (avançado) — Garanta que o nó gere dados até um horário comprometido.
Criar uma regra automática de O&M para um grupo de recursos (avançado) — Automatize respostas quando a utilização de recursos exceder os limiares.
Etapa 1: Visualizar a configuração do nó
Após publicar um nó, verifique seus parâmetros de agendamento e dependências antes da primeira execução agendada. Configurações incorretas podem causar falhas na execução ou produzir resultados errados.
Abra o Operation Center.
-
Localize o nó.
No painel de navegação à esquerda, escolha Auto Triggered Node O&M > Auto Triggered Node.
Na página Auto Triggered Node, pesquise e selecione o nó de destino.
-
Visualize os detalhes do nó.
Clique em no nó para abrir seu Grafo Acíclico Direcionado (DAG).
Clique em Expand Details para ver a configuração completa do nó.
Para obter uma lista completa de operações de nó, consulte Gerenciar nós com acionamento automático .
Se a configuração estiver incorreta, acesse o Data Studio , atualize o nó e publique-o novamente. Consulte Operações relacionadas a nós .
O exemplo a seguir mostra o nó result_table na lista de nós com acionamento automático. Confirme se Scheduling Parameter e Schedule Resource Group estão definidos corretamente.
Etapa 2: Executar um teste de fumaça
O teste de fumaça executa a lógica de código real do nó no ambiente de produção, usando um timestamp de dados específico escolhido por você. Utilize esse recurso para verificar se o nó executa corretamente antes de sua execução regular agendada.
-
Acesse a página de teste de fumaça usando um dos seguintes métodos:
Na lista de nós com acionamento automático, localize o nó e clique em Test na coluna Operation.
No DAG do nó, clique com o botão direito no nó e selecione Test.
Defina o timestamp de dados e o horário de execução e clique em OK. Uma instância de teste será gerada. Acesse Auto Triggered Node O&M > Test Instance para acompanhar o status.
Para detalhes sobre testes de fumaça, consulte Realizar testes de fumaça .
Para visualizar instâncias de teste, consulte Executar um teste e visualizar instâncias de teste .
O exemplo a seguir mostra o nó result_table após um teste de fumaça, com a instância de teste gerada e seu status de execução.
Etapa 3: Reprocessar dados históricos
O reprocessamento de dados recalcula e regrava informações de um intervalo de tempo passado. Use este recurso quando precisar reprocesar dados históricos após corrigir um bug, alterar a lógica de negócios ou recuperar-se de uma execução com falha.
Escolher um modo de reprocessamento
Selecione o modo adequado ao seu caso de uso:
|
Modo |
Quando usar |
Observações |
|
Reprocessamento do nó atual e de um subconjunto específico de seus descendentes. |
Suporta até 500 tarefas raiz e 2.000 tarefas no total. Compatível com planos anteriores de reprocessamento de dados, como Current Node, Current Node and Descendant Nodes e Advanced Mode. |
|
|
Reprocessamento ponta a ponta em tarefas com dependências complexas. |
Especifique uma tarefa inicial e uma ou mais tarefas finais; o sistema inclui automaticamente todas as tarefas ao longo do caminho. |
|
|
Nós descendentes abrangem múltiplos workspaces. |
Suporta até 20.000 tarefas. Compatível com o plano anterior de reprocessamento de dados Massive Nodes Mode. Não é possível configurar uma lista de bloqueios de tarefas. |
|
|
Reprocessamento de uma tarefa raiz e todos os seus descendentes quando o escopo exato não é crítico para confirmação prévia. |
Use com cautela — o escopo completo só fica visível quando o job de reprocessamento é executado. |
Executar o reprocessamento
-
Acesse a página de reprocessamento de dados usando um dos seguintes métodos:
Na lista de nós com acionamento automático, localize o nó e clique em Backfill Data na coluna Operation.
No DAG do nó, clique com o botão direito no nó e selecione Backfill Data.
Selecione um modo de reprocessamento.
Configure o timestamp de dados, os nós a serem incluídos e quaisquer outros parâmetros necessários. As opções de configuração variam conforme o modo. Para mais detalhes, consulte Reprocessar dados e visualizar instâncias de reprocessamento.
Após configurar o reprocessamento, as variáveis no código do nó são substituídas pelos valores derivados dos parâmetros de agendamento e do timestamp de dados especificados.
O exemplo a seguir utiliza o modo Backfill Data For Current Node para reprocessar dados do nó result_table. O reprocessamento cobre a janela de 00:00–01:00 para cada dia entre 2024-09-17 e 2024-09-19.
Etapa 4: Verificar instâncias recorrentes
Após a publicação de um nó, o Operation Center gera instâncias recorrentes com base em seu agendamento. A rapidez com que elas aparecem depende do Instance Generation Mode definido no Data Studio:
Generate On The Next Day (T+1): As primeiras instâncias são geradas no dia seguinte à publicação.
Generate Immediately After Publishing: A geração de instâncias começa no mesmo dia.
No painel de navegação à esquerda do Operation Center, escolha Auto Triggered Node O&M > Recurring Instance.
Verifique se as instâncias foram geradas e estão executando conforme esperado com base na configuração de agendamento do nó. Para mais detalhes, consulte Visualizar instâncias recorrentes.
Solucionar problemas de uma instância bloqueada
Se uma instância não estiver em execução, utilize os dois recursos a seguir em sequência para diagnosticar o problema:
Upstream Analysis: No painel DAG, use Upstream Analysis para identificar quais tarefas upstream estão bloqueando a instância atual. Comece por aqui para restringir o escopo.
Runtime Diagnosis: Na tarefa upstream bloqueadora, use Runtime Diagnosis para encontrar a causa raiz. Este recurso é especialmente útil quando a cadeia de dependências é profunda, pois identifica o problema sem exigir rastreamento manual de cada camada.
O exemplo a seguir mostra as instâncias recorrentes do nó result_table (agendado por hora) geradas em 2024-09-19.
Etapa 5: Validar resultados da execução
Após um teste de fumaça ou reprocessamento de dados, confirme se os dados foram gravados corretamente na tabela de destino. Duas opções estão disponíveis:
Data Map: Pesquise a tabela de destino e visualize seus detalhes para confirmar a gravação dos dados. Consulte Localizar uma tabela e Visualizar detalhes da tabela.
Ad Hoc Query: Execute uma consulta SQL diretamente no Data Studio para verificar se os dados reais correspondem às suas expectativas, sem publicar nenhum código em produção. Consulte Criar um arquivo de consulta ad hoc.
Por padrão, um usuário do Resource Access Management (RAM) não tem permissão para consultar tabelas de produção no mecanismo DPI do MaxCompute. Acesse o Data Map e solicite permissões de tabela na página do produto. Consulte Solicitar permissões de tabela .
Os dados são gravados em diferentes projetos do mecanismo DPI dependendo de onde o nó é executado: o ambiente de desenvolvimento grava no projeto do mecanismo DPI de desenvolvimento, enquanto o ambiente de produção grava no projeto do mecanismo DPI de produção. Antes de consultar, confirme em qual projeto os dados estão verificando a página Computing Resource .
O MaxCompute suporta acesso a tabelas entre projetos, como acessar tabelas criadas em outras fontes de dados ou acessar tabelas do projeto de produção a partir de um projeto de desenvolvimento. Nem todos os tipos de mecanismo DPI suportam esse recurso — verifique a documentação do seu mecanismo para confirmar.
Neste exemplo, o projeto do mecanismo DPI de produção para result_table é mc_test_project. Use o Ad Hoc Query para criar um nó ODPS SQL e execute uma instrução SQL para consultar os dados da partição em mc_test_project.result_table.
Etapa 6: Criar uma regra de monitoramento personalizada
Depois que o nó for testado e estiver em execução, configure uma regra de monitoramento para receber alertas em caso de falha. O DataWorks envia um alerta com base na configuração da regra, permitindo identificar e tratar exceções antes que afetem os dados downstream.
Abra o Operation Center.
No painel de navegação à esquerda, escolha Monitoring > Rule Management.
Clique em Create Custom Rule e configure a regra. Para opções de configuração, consulte Regras de monitoramento personalizadas.
Configure as informações de contato de alerta antes de definir as regras. Consulte Visualizar e definir contatos de alerta .
O exemplo a seguir cria uma regra chamada Test rules para o nó result_table. Quando o nó falha na execução, um alerta é enviado ao proprietário do nó por mensagem de texto, até 3 vezes com intervalos de 30 minutos.
Etapa 7: Criar uma linha de base inteligente (avançado)
Uma linha de base inteligente garante que tarefas de alta prioridade gerem dados até um horário comprometido. O DataWorks calcula o tempo estimado de conclusão com base nos históricos de execução do nó e concede às tarefas da linha de base acesso preferencial aos recursos de agendamento. Se o sistema prever que a tarefa perderá o prazo comprometido, ele enviará um alerta para que você possa agir antes do limite.
Abra o Operation Center.
No painel de navegação à esquerda, clique em Intelligent Baseline.
Na aba Baseline Management, clique em Create Baseline e configure a linha de base. Para opções de configuração, consulte Criar uma linha de base.
Parâmetros principais:
|
Parâmetro |
Descrição |
|
Priority |
Valores mais altos obtêm acesso preferencial aos recursos de agendamento quando os recursos são limitados. |
|
Estimated finish time |
Calculado com base no histórico de conclusões do nó durante um período recente. |
|
Committed time |
O horário limite pelo qual o nó deve gerar dados. Defina este valor com base nos requisitos de negócios e no histórico real de execução. |
|
Alert margin |
Uma margem antes do horário comprometido para lidar com exceções. O intervalo entre a margem de alerta e o horário comprometido deve ser de pelo menos 5 minutos. |
O exemplo a seguir configura uma linha de base horária chamada Test Baselines para result_table. Se a instância horária não conseguir ser concluída dentro de 30 minutos de cada hora, um alerta será enviado ao proprietário do nó por mensagem de texto, até 3 vezes com intervalos de 30 minutos.
Etapa 8: Criar uma regra automática de O&M para um grupo de recursos (avançado)
Se as tarefas forem executadas em um grupo de recursos exclusivo, você poderá criar regras automáticas de O&M para responder à pressão sobre recursos sem intervenção manual. Quando uma regra de monitoramento é acionada, o DataWorks executa automaticamente a ação de O&M configurada nas instâncias correspondentes.
O O&M automático atualmente é suportado apenas para grupos de recursos exclusivos de agendamento.
Para mover uma tarefa para um grupo de recursos exclusivo de agendamento, consulte Alternar grupos de recursos .
Abra o Operation Center.
-
Crie uma regra de monitoramento para o grupo de recursos. O exemplo a seguir monitora a utilização de recursos do grupo de recursos
Exclusive_Scheduling_Resource. Quando a utilização excede 90% por 10 minutos, a regraResource group monitoring rulesé acionada e um alerta é enviado por mensagem de texto, até 3 vezes.No painel de navegação à esquerda, escolha Monitoring > Rule Management.
Clique em Create Custom Rule. Defina Object Type como Exclusive Resource Group For Scheduling e configure os outros campos. Para mais detalhes, consulte Regras de monitoramento personalizadas.
Este exemplo demonstra as etapas de configuração. Ao configurar sua própria regra, selecione o grupo de recursos que você realmente utiliza.
-
Crie uma regra automática de O&M vinculada à regra de monitoramento.
No painel de navegação à esquerda, escolha O&M Assistant > Automatic O&M.
Na aba Rule Management, clique em Add Rule e configure a regra. Para mais detalhes, consulte Criar uma regra automática de O&M para um grupo de recursos.
Parâmetros principais:
|
Parâmetro |
Descrição |
|
Associated monitoring rule |
Selecione uma regra de monitoramento para um grupo de recursos exclusivo de agendamento. Crie a regra de monitoramento antes de configurar este campo. |
|
O&M action |
Atualmente, apenas Stop Running Instance é suportado. Instâncias que atendem às condições de filtro são interrompidas quando a regra é acionada. |
O exemplo a seguir cria uma regra automática de O&M chamada Automatic_test associada a Resource group monitoring rules. Quando a utilização de Exclusive_Scheduling_Resource excede 90% por 10 minutos, o DataWorks interrompe instâncias horárias e minuciais de prioridade 1 (recorrentes, de teste e de reprocessamento) em execução nesse grupo de recursos no workspace especificado.
Mais operações
O Operation Center suporta pontos de extensão para congelamento, restauração, reprocessamento de dados e despublicação de nós. Utilize estes pontos com programas de extensão para criar lógicas personalizadas e automatizar fluxos de trabalho de O&M. Para mais detalhes, consulte Visão geral das extensões e Exemplo de aplicação: Verificar eventos de acionamento no Operation Center.
Próximos passos
Configure regras de monitoramento do Data Quality para as tabelas produzidas pelos seus nós, garantindo que os dados de saída atendam às suas expectativas. Para mais detalhes, consulte Data Quality.