O Operation Center é uma plataforma de monitoramento e O&M para big data. Visualize o status de execução de tarefas em tempo real, diagnostique e reexecute tarefas anômalas e use o Smart Baseline para garantir a conclusão pontual de tarefas críticas. O Operation Center também oferece recursos de O&M para engines, recursos e agendamento.
Módulos funcionais
Após implantar nós no DataStudio, use o Operation Center para gerencie Auto Triggered Nodes, Manually Triggered Nodes e nós em tempo real. Execute tarefas de produção, solucione problemas, monitore o status e visualize métricas de O&M.
O Operation Center requer um navegador desktop com kernel Chrome 69 ou superior.
Observações de uso
Os nós são executados conforme o agendamento somente após a implantação no ambiente de produção. Nós do ambiente de desenvolvimento não são agendados automaticamente.
Acessar o Operation Center
Faça login no DataWorks console. Na região desejada, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Operation Center.
O&M de tarefas
O O&M de tarefas abrange três tipos de nó: Auto Triggered Nodes, nós em tempo real e Manually Triggered Nodes. Use o O&M Dashboard para obter métricas essenciais de execução e ferramentas como Data Backfill, Run diagnostics e Automated O&M para uma manutenção abrangente.
|
Módulo |
Descrição |
Disponibilidade no ambiente |
|
|
Exibe as principais métricas de O&M para tarefas agendadas em relatórios, com páginas dedicadas para tarefas de sincronização offline e em tempo real no Data Integration. |
Indisponível no ambiente de desenvolvimento. |
||
|
Auto Triggered Task O&M |
Visualize o DAG dos Auto Triggered Nodes e execute Test e Run de nós. |
O ambiente de desenvolvimento não agenda automaticamente nem gera instâncias de Auto Triggered. |
|
|
Lista as instâncias geradas após o envio dos Auto Triggered Nodes ao sistema de agendamento. Visualize o DAG da instância, execute AI Diagnostics e reexecute (Rerun) instâncias de Auto Triggered. |
|||
|
Lista as instâncias de teste geradas após o teste de um Auto Triggered Node. Verifique o status de execução, visualize o DAG da instância, execute AI Diagnostics e reexecute (Rerun) as instâncias. |
|||
|
Real-time Task O&M |
Execute Start, Stop e Undeploy de nós de computação em tempo real. Configure Monitoring Setting para receber alertas e tratar exceções rapidamente. |
- |
|
|
Execute Start, Stop, Undeploy e Modify Owner de nós de sincronização em tempo real. Configure Monitoring Setting para receber alertas e tratar exceções rapidamente. |
- |
||
|
Manually Triggered Task O&M |
Consulte Manually Triggered Nodes, workflows manuais e workflows acionados por eventos. Visualize o DAG, execute manualmente os nós (Run) e use View Instances. |
- |
|
|
Use o DAG para visualizar detalhes da instância: View Runtime Log, AI Diagnostics, View Code e View Lineage. |
- |
||
|
O&M Assistant |
Gerencie tarefas de backfill de dados. |
- |
|
|
Análise ponta a ponta para diagnóstico rápido de problemas. Visualize Operation Details, General, Influenced Baseline e Historical instance de um nó. |
Indisponível no ambiente de desenvolvimento. |
||
|
Crie regras personalizadas de O&M que definam métricas de monitoramento para instâncias em um grupo de recursos alvo. Quando acionada, o sistema executa automaticamente uma ação predefinida. |
- |
||
Uma instância de nó agendada periodicamente só é executada se as seguintes condições forem atendidas:
Todas as instâncias de nós ancestrais dependentes foram executadas com sucesso.
O horário de execução agendada do nó foi atingido.
Há recursos de agendamento suficientes disponíveis.
O nó não está em estado congelado.
No Operation Center, cores diferentes representam status distintos da instância. Para mais detalhes sobre os status das instâncias, consulte Appendix: Instance execution status and diagnosis.
Monitoramento de tarefas
O monitoramento de tarefas inclui Smart Baseline e Alert monitoring. Configure o Smart Baseline para detectar exceções em nós e enviar avisos prévios. Gerencie regras de monitoramento, notificações de alerta e escalas de plantão para garantir o tratamento ágil dos alertas.
|
Módulo |
Descrição |
Disponibilidade no ambiente |
|
|
As Intelligent Baselines detectam exceções que impedem a conclusão pontual dos nós de baseline e enviam avisos prévios, garantindo a geração de dados críticos dentro do prazo. Benefícios: redução de custos de configuração, evita alertas desnecessários e monitora automaticamente todas as tarefas críticas. |
Indisponível no ambiente de desenvolvimento. |
||
|
Monitoring and Alerting |
Configure regras personalizadas de monitoramento para o status de execução de nós ou uso de recursos, permitindo detectar e tratar exceções prontamente. |
||
|
Centraliza todos os alertas do módulo Task Monitoring: avisos de baseline e alertas de eventos das Intelligent Baselines, além de alertas de regras personalizadas e regras globais. |
|||
|
Gerencie os turnos de resposta a alertas de O&M. Após a configuração, o DataWorks envia Alerts à equipe de plantão para resolução rápida. |
|||
Outros recursos de O&M
Além do O&M e monitoramento de tarefas, o DataWorks permite visualizar detalhes da engine E-MapReduce, monitorar o uso de grupos de recursos e personalizar parâmetros de agendamento.
|
Módulo |
Descrição |
Disponibilidade no ambiente |
|
|
Visualize detalhes de jobs do E-MapReduce. Identifique e limpe jobs com erro para evitar que bloqueiem nós downstream. |
Indisponível no ambiente de desenvolvimento. |
||
|
Oferece visualização do uso de grupos de recursos e do status de execução de instâncias. Permite monitoramento inteligente e Automated O&M para grupos de recursos e instâncias. |
- |
||
|
Crie e gerencie Scheduling Calendar e Workspace-level Parameters para personalizar o agendamento de tarefas. |
- |
||
Apêndice: Status de execução e diagnóstico de instâncias
No Operation Center, cores e ícones indicam o status de execução da instância, conforme descrito abaixo. Para pré-requisitos de execução de tarefas, consulte Task execution diagnosis.
|
Nº |
Tipo de status |
Ícone de status |
Fluxograma de execução |
|
1 |
Sucesso |
|
|
|
2 |
Não está em execução |
|
|
|
3 |
Falha |
|
|
|
4 |
Em execução |
|
|
|
5 |
Aguardando |
|
|
|
6 |
Suspenso/congelado |
|
