O Operation Center é uma plataforma unificada para operações e manutenção (O&M) de big data. Ele permite visualizar o status de execução das tarefas em tempo real e oferece recursos de O&M, como diagnóstico inteligente e reexecução, para tratar exceções. Com a linha de base inteligente, você gerencia prazos de conclusão imprevisíveis de tarefas críticas e monitora grandes volumes de tarefas com eficiência, garantindo a entrega pontual dos dados. A plataforma também fornece funcionalidades abrangentes de O&M para mecanismos de computação, recursos e agendamento.
Módulos do Operation Center
Após desenvolver, enviar e implantar uma tarefa no Data Studio, acesse o Operation Center para executar operações de O&M em tarefas agendadas, manuais e em tempo real. Essas operações incluem a execução de tarefas de produção, localização e resolução de problemas, monitoramento do status de execução, visualização de métricas essenciais de O&M e consulta às listas de tarefas do mecanismo.
O Operation Center é compatível apenas com versões desktop do Chrome 69 ou superior.
Observação
As tarefas são agendadas e executadas automaticamente somente após a implantação no ambiente de produção. Tarefas no ambiente de desenvolvimento não possuem agendamento automático.
Acessar o Operation Center
Faça login no console do DataWorks. Na região desejada, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Operation Center.
O&M de tarefas
O módulo de O&M de tarefas oferece capacidades de operação e manutenção para três tipos de tarefas: agendadas, em tempo real e manuais. Utilize o O&M Dashboard para visualizar métricas essenciais da execução e aproveite os recursos do O&M Assistant, como Data Backfill, Intelligent Diagnosis e Automated O&M, para executar diversas operações de manutenção.
|
Módulo |
Descrição |
Disponibilidade |
|
|
Exibe relatórios com as principais métricas de O&M para tarefas agendadas. Também oferece páginas dedicadas de O&M para tarefas de sincronização em lote e em tempo real no Data Integration. |
Este módulo não está disponível no Operation Center do ambiente de desenvolvimento. |
||
|
Auto Triggered Task O&M |
A página Scheduled Tasks oferece visualizações de DAG, além de operações de Test, Run e outras ações para tarefas agendadas. |
O Operation Center do ambiente de desenvolvimento não gera instâncias agendadas automaticamente. |
|
|
A página Scheduled Instances exibe a lista de instâncias geradas após o envio das tarefas agendadas ao sistema de agendamento. Nesta lista, visualize o DAG, execute o Run Diagnostics, faça a Rerun de instâncias agendadas e realize outras operações. |
|||
|
A lista Test Instances mostra as instâncias de teste geradas após a execução de um teste em tarefas agendadas. Verifique o status de execução, visualize o DAG, execute o Run Diagnostics, faça a Rerun das instâncias e realize outras operações na lista. |
|||
|
Real-time Task O&M |
Na página Real-time Computing Tasks, execute as ações de Start, Stop e Undeploy para tarefas de computação em tempo real. Configure também alertas em Monitoring Setting para detectar e tratar exceções rapidamente. |
- |
|
|
A página Real-time Synchronization Tasks permite executar Start, Stop, Undeploy e Change Owner para tarefas de sincronização em tempo real. O recurso suporta Alert Conditions para identificar e resolver exceções com agilidade. |
- |
||
|
Manually Triggered Task O&M |
Em Manual Tasks, consulte tarefas manuais, workflows manuais e workflows acionados por gatilho. Realize operações como visualizar o DAG, acionar manualmente a execução com Run, usar View Instances, entre outras ações. |
- |
|
|
Em Manual Instances, visualize rapidamente informações detalhadas da instância pelo DAG e execute operações como View Runtime Log, View Code e View Lineage. |
- |
||
|
O&M Assistant |
A página Data Backfill permite gerenciar tarefas de backfill de dados. |
- |
|
|
O Intelligent Diagnosis oferece análise completa do fluxo de tarefas, facilitando a localização rápida de problemas. Visualize Operation Details, General, Influenced Baseline e Historical instance. |
Este módulo não está disponível no Operation Center do ambiente de desenvolvimento. |
||
|
O Automated O&M fornece regras personalizadas de O&M. Defina métricas de monitoramento e regras customizadas para instâncias executadas em grupos de recursos específicos. Quando uma regra é acionada, a ação de O&M correspondente é executada automaticamente, garantindo a automação da manutenção. |
- |
||
Tomando como exemplo as tarefas em instâncias agendadas, as seguintes condições devem ser atendidas antes que uma tarefa inicie a execução:
Todas as instâncias de nós pai das quais a tarefa depende devem estar com status de sucesso.
O horário de execução agendada configurado para o nó da tarefa deve ter sido atingido.
Deve haver recursos de agendamento suficientes disponíveis.
A tarefa não pode estar no estado congelado.
No Operation Center, cores diferentes indicam statuses distintos das instâncias. Para mais detalhes sobre os statuses de execução, consulte Statuses de execução e diagnóstico de instâncias.
Monitoramento de tarefas
O módulo de Monitoramento de Tarefas inclui recursos de linha de base inteligente e alertas de monitoramento. Configure a linha de base inteligente para detectar exceções e emitir avisos prévios. Gerencie também regras de monitoramento, informações de alerta e escalas de plantão para tratar alertas de O&M de forma oportuna.
|
Módulo |
Descrição |
Disponibilidade |
|
|
As Intelligent Baselines detectam prontamente exceções que podem impedir a conclusão pontual das tarefas em uma linha de base e enviam avisos prévios, assegurando que dados críticos sejam produzidos no prazo esperado. Esse recurso ajuda a reduzir custos de configuração, evitar alertas desnecessárias e monitorar automaticamente todas as tarefas críticas. |
Este módulo não está disponível no Operation Center do ambiente de desenvolvimento. |
||
|
Monitoring and Alerting |
O Rule Management permite configurar regras de monitoramento personalizadas. Utilize essas regras para acompanhar o status de execução das tarefas ou o uso de recursos, detectando e tratando exceções com rapidez. |
||
|
O recurso de Alerts oferece gestão unificada de todos os alertas gerados pelo módulo Task Monitoring, incluindo alertas de aviso prévio de linha de base, alertas de eventos, alertas de regras personalizadas e alertas de regras globais gerados pelas Intelligent Baselines. |
|||
|
A escala de plantão define os arranjos para o tratamento de alertas de O&M, garantindo resposta rápida quando alertas são disparados ou instâncias exigem manutenção. Após configurar a escala, o DataWorks envia Alerts aos responsáveis de plantão, permitindo que identifiquem e resolvam problemas prontamente. |
|||
Outras operações de O&M
Além do O&M de tarefas e do monitoramento inteligente, o DataWorks permite visualizar detalhes de mecanismos de computação (E-MapReduce), monitorar e gerenciar o uso de grupos de recursos e personalizar parâmetros de agendamento, oferecendo capacidades de O&M mais práticas e abrangentes para o seu trabalho diário.
|
Módulo |
Descrição |
Disponibilidade |
|
|
O Engine O&M permite visualizar informações detalhadas sobre jobs do mecanismo de computação (E-MapReduce), identificar e limpar rapidamente jobs executados incorretamente, evitando que bloqueiem tarefas downstream e afetem a execução normal das instâncias. |
Este módulo não está disponível no Operation Center do ambiente de desenvolvimento. |
||
|
O Resource O&M oferece uma visualização do uso de grupos de recursos e da execução de tarefas de instância. Isso possibilita o monitoramento inteligente e a automação de O&M para grupos de recursos e tarefas, reduzindo operações manuais e aumentando a eficiência da manutenção. |
- |
||
|
O Scheduling Settings oferece uma plataforma para criar e gerenciar o Scheduling Calendar e os Workspace-level Parameters, facilitando a personalização do agendamento de tarefas. |
- |
||
Apêndice: Statuses de execução e diagnóstico de instâncias
O Operation Center utiliza cores e ícones diferentes para indicar a etapa da tarefa no processo de execução. Cada combinação de cor e ícone representa um status específico. A tabela abaixo descreve os statuses das tarefas correspondentes a cada cor e ícone de instância. Para detalhes sobre os pré-requisitos de execução, consulte Pré-requisitos para execução de uma tarefa.
|
Nº |
Tipo de status |
Ícone de status |
Fluxograma de execução |
|
1 |
Sucesso |
|
|
|
2 |
Não executado |
|
|
|
3 |
Falha |
|
|
|
4 |
Em execução |
|
|
|
5 |
Pendente |
|
|
|
6 |
Pausado/Congelado |
|
