O Operation Center é uma plataforma de monitoramento e O&M de big data. Visualize o status de execução de tarefas em tempo real, diagnostique e reexecute tarefas anômalas e use o Smart Baseline para garantir a conclusão pontual de tarefas críticas. O Operation Center também oferece recursos de O&M para engines, recursos e agendamento.
Módulos funcionais
Após implantar nós no DataStudio, use o Operation Center para gerenciar Auto Triggered Nodes, Manually Triggered Nodes e nós em tempo real. Execute tarefas de produção, solucione problemas, monitore o status e visualize métricas de O&M.
O Operation Center requer um navegador desktop com kernel Chrome 69 ou superior.
Observações de uso
Os nós são executados conforme o agendamento somente após a implantação no ambiente de produção. Nós do ambiente de desenvolvimento não são agendados automaticamente.
Acessar o Operation Center
Faça login no console do DataWorks. Na região desejada, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Operation Center.
O&M de tarefas
O O&M de tarefas abrange três tipos de nós: Auto Triggered Nodes, nós em tempo real e Manually Triggered Nodes. Use o O&M Dashboard para obter métricas essenciais de execução e ferramentas como Data Backfill, Intelligent Diagnosis e Automated O&M para manutenção abrangente.
|
Módulo |
Descrição |
Disponibilidade no ambiente |
|
|
Exibe as principais métricas de O&M para tarefas agendadas em relatórios, com páginas dedicadas para tarefas de sincronização offline e em tempo real no Data Integration. |
Indisponível no ambiente de desenvolvimento. |
||
|
Auto Triggered Task O&M |
Visualize o DAG dos Auto Triggered Nodes e execute o Test e a Run dos nós. |
O ambiente de desenvolvimento não agenda automaticamente nem gera instâncias de Auto Triggered. |
|
|
Lista as instâncias geradas após o envio dos Auto Triggered Nodes ao sistema de agendamento. Visualize o DAG da instância, execute o Run Diagnostics e reexecute as instâncias de Auto Triggered com Rerun. |
|||
|
Lista as instâncias de teste geradas após o teste de um Auto Triggered Node. Verifique o status de execução, visualize o DAG da instância, execute o Run Diagnostics e reexecute as instâncias com Rerun. |
|||
|
Real-time Task O&M |
Execute Start, Stop e Undeploy em nós de computação em tempo real. Configure Monitoring Setting para gerar alertas e tratar exceções rapidamente. |
- |
|
|
Execute Start, Stop, Undeploy e Modify Owner em nós de sincronização em tempo real. Configure Monitoring Setting para gerar alertas e tratar exceções rapidamente. |
- |
||
|
Manually Triggered Task O&M |
Consulte Manually Triggered Nodes, fluxos de trabalho manuais e fluxos acionados por eventos. Visualize o DAG, execute manualmente os nós com Run e use View Instances. |
- |
|
|
Use o DAG para visualizar detalhes da instância: View Runtime Log, Run Diagnostics, View Code e View Lineage. |
- |
||
|
O&M Assistant |
Gerencie tarefas de backfill de dados. |
- |
|
|
Análise ponta a ponta para diagnóstico rápido de problemas. Visualize os Operation Details, informações General, Influenced Baseline e Historical instance de um nó. |
Indisponível no ambiente de desenvolvimento. |
||
|
Crie regras personalizadas de O&M que definam métricas de monitoramento para instâncias em um grupo de recursos alvo. Ao serem acionadas, o sistema executa automaticamente uma ação predefinida. |
- |
||
Uma instância de nó agendada periodicamente é executada apenas se as seguintes condições forem atendidas:
Todas as instâncias de nós ancestrais dependentes foram executadas com sucesso.
O horário de execução agendada do nó foi atingido.
Há recursos de agendamento suficientes disponíveis.
O nó não está congelado.
No Operation Center, cores diferentes representam status distintos da instância. Para mais detalhes sobre os status das instâncias, consulte Apêndice: Status de execução e diagnóstico de instâncias.
Monitoramento de tarefas
O monitoramento de tarefas inclui Smart Baseline e Alert monitoring. Configure o Smart Baseline para detectar exceções em nós e enviar avisos prévios. Gerencie regras de monitoramento, notificações de alerta e escalas de plantão para garantir o tratamento ágil dos alertas.
|
Módulo |
Descrição |
Disponibilidade no ambiente |
|
|
As Intelligent Baselines detectam exceções que impedem a conclusão pontual dos nós de baseline e enviam avisos prévios, garantindo a geração de dados críticos conforme o cronograma. Benefícios: redução de custos de configuração, evita alertas desnecessários e monitora automaticamente todas as tarefas críticas. |
Indisponível no ambiente de desenvolvimento. |
||
|
Monitoring and Alerting |
Configure regras personalizadas de monitoramento para o status de execução de nós ou uso de recursos, permitindo detectar e tratar exceções rapidamente. |
||
|
Centraliza todos os alertas do módulo Task Monitoring: avisos de baseline e alertas de eventos das Intelligent Baselines, além de alertas de regras personalizadas e regras globais. |
|||
|
Gerencie os turnos de resposta a alertas de O&M. Após a configuração, o DataWorks envia Alerts à equipe de plantão para resolução imediata. |
|||
Outros recursos de O&M
Além do O&M e monitoramento de tarefas, o DataWorks permite visualizar detalhes da engine E-MapReduce, monitorar o uso de grupos de recursos e personalizar parâmetros de agendamento.
|
Módulo |
Descrição |
Disponibilidade no ambiente |
|
|
Visualize detalhes de jobs do E-MapReduce. Localize e limpe jobs com erro para evitar que bloqueiem nós downstream. |
Indisponível no ambiente de desenvolvimento. |
||
|
Visualiza o uso de grupos de recursos e o status de execução de instâncias. Permite monitoramento inteligente e Automated O&M para grupos de recursos e instâncias. |
- |
||
|
Crie e gerencie o Scheduling Calendar e os Workspace-level Parameters para personalizar o agendamento de tarefas. |
- |
||
Apêndice: Status de execução e diagnóstico de instâncias
No Operation Center, cores e ícones indicam o status de execução da instância conforme descrito abaixo. Para pré-requisitos de execução de tarefas, consulte Diagnóstico de execução de tarefas.
|
Nº |
Tipo de status |
Ícone de status |
Fluxograma de execução |
|
1 |
Sucesso |
|
|
|
2 |
Não está em execução |
|
|
|
3 |
Falha |
|
|
|
4 |
Em execução |
|
|
|
5 |
Aguardando |
|
|
|
6 |
Suspenso/congelado |
|
