O Operation Center é uma plataforma unificada para operações e manutenção (O&M) de big data. Permite visualizar o status de execução das tarefas em tempo real e oferece recursos de O&M, como diagnósticos com IA e reexecução, para lidar com exceções de tarefas. Com a linha de base inteligente, você pode gerencie tempos de conclusão imprevisíveis para tarefas críticas e monitorar com eficiência um grande número de tarefas, garantindo a entrega pontual de dados. A plataforma também oferece recursos abrangentes de O&M para mecanismos de computação, recursos e agendamento.
Módulos do Operation Center
Depois de desenvolver, envie e implantar uma tarefa no Data Studio, acesse o Operation Center para executar operações de O&M em tarefas agendadas, tarefas manuais e tarefas em tempo real. Essas operações incluem executar tarefas de produção, localizar e resolver problemas em tarefas, monitorar o status de execução, visualizar as principais métricas de O&M e verificar as listas de tarefas do mecanismo.
O Operation Center é compatível apenas com versões desktop do Chrome 69 ou superior.
Nota
As tarefas são agendadas e executadas automaticamente somente após serem implantadas no ambiente de produção. As tarefas do ambiente de desenvolvimento não são agendadas automaticamente.
Acesse o Operation Center
Faça logon no console do DataWorks. Na região de destino, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Operation Center.
O&M de tarefas
O módulo de O&M de tarefas oferece recursos de O&M para três tipos de tarefas: tarefas agendadas, tarefas em tempo real e tarefas manuais. Use o painel de O&M para visualizar as principais métricas da execução de tarefas e utilize os recursos do Assistente de O&M, como Backfill de dados, Executar diagnósticos e O&M automatizado, para executar uma ampla variedade de operações de O&M.
|
Módulo |
Descrição |
Disponibilidade |
|
|
Exibe as principais métricas de O&M para tarefas agendadas em relatórios. Também fornece páginas dedicadas de O&M para tarefas de sincronização em lote e em tempo real no Data Integration. |
Este módulo não está disponível no Operation Center para o ambiente de desenvolvimento. |
||
|
Auto Triggered Task O&M |
A página Scheduled Tasks fornece visualizações de DAG, Test para tarefas, Run e outras operações para tarefas agendadas. |
O Operation Center para o ambiente de desenvolvimento não pode gerar instâncias agendadas automaticamente. |
|
|
A página Scheduled Instances exibe uma lista de instâncias geradas após o envio das tarefas agendadas para o sistema de agendamento. Nela, é possível visualizar o DAG, executar o AI Diagnostics, fazer o Rerun de instâncias agendadas e executar outras operações na lista. |
|||
|
A página Test Instances exibe as instâncias de teste geradas após a execução de um teste em tarefas agendadas. Nela, é possível verificar o status de execução das instâncias de teste, visualizar o DAG, executar o AI Diagnostics, fazer o Rerun de instâncias e executar outras operações na lista. |
|||
|
Real-time Task O&M |
A página Real-time Computing Tasks permite Start, Stop e Undeploy de tarefas de computação em tempo real, além de configure alertas de Monitoring Setting para detectar e tratar rapidamente exceções de tarefas. |
- |
|
|
A página Real-time Synchronization Tasks permite Start, Stop, Undeploy e Change Owner para tarefas de sincronização em tempo real. Ela oferece suporte a Alert Conditions para detectar e tratar rapidamente exceções de tarefas. |
- |
||
|
Manually Triggered Task O&M |
Na página Manual Tasks, é possível consultar tarefas manuais, fluxos de trabalho manuais e fluxos de trabalho baseados em gatilhos, além de executar operações como visualizar o DAG, acionar manualmente o Run, View Instances, entre outras. |
- |
|
|
Na página Manual Instances, é possível visualizar rapidamente informações detalhadas da instância por meio do DAG e executar operações como View Runtime Log, View Code e View Lineage. |
- |
||
|
O&M Assistant |
A página Data Backfill permite gerencie tarefas de backfill de dados. |
- |
|
|
A página Run diagnostics fornece recursos de análise de ponta a ponta para tarefas, o que permite localizar problemas rapidamente. Nela, é possível visualizar Operation Details, General, Influenced Baseline e Historical instance. |
Este módulo não está disponível no Operation Center para o ambiente de desenvolvimento. |
||
|
A página Automated O&M fornece regras personalizadas de O&M. É possível definir métricas de monitoramento e regras personalizadas de O&M para instâncias em execução em grupos de recursos de destino. Quando uma regra é acionada, a ação de O&M correspondente é executada automaticamente, garantindo a automação do O&M. |
- |
||
Considere as tarefas em instâncias agendadas como exemplo. Uma tarefa só inicia a execução quando as seguintes condições são atendidas:
Todas as instâncias de nós pai das quais a tarefa depende estão com status de sucesso.
O horário de execução agendado para o nó da tarefa foi atingido.
Existem recursos de agendamento suficientes disponíveis.
A tarefa não está no estado congelado.
No Operation Center, diferentes cores representam diferentes status de instância. Para obter detalhes sobre os status de execução de instâncias, consulte Instance run statuses and diagnostics.
Monitoramento de tarefas
O módulo de Monitoramento de tarefas inclui recursos de linha de base inteligente e alertas de monitoramento. configure a linha de base inteligente para detectar exceções de tarefas e enviar alertas antecipados. Você também pode configure e gerencie regras de monitoramento, informações de alerta e escalas de plantão para tratar alertas de O&M em tempo hábil.
|
Módulo |
Descrição |
Disponibilidade |
|
|
As Intelligent Baselines detectam rapidamente exceções que podem impedir a conclusão pontual das tarefas em uma linha de base e enviam alertas antecipados para garantir a produção de dados críticos dentro do tempo esperado. Esse recurso ajuda a reduzir os custos de configuração, evitar alertas desnecessários e monitorar automaticamente todas as tarefas críticas. |
Este módulo não está disponível no Operation Center para o ambiente de desenvolvimento. |
||
|
Monitoring and Alerting |
A página Rule management permite configure regras de monitoramento personalizadas. Use essas regras para monitorar o status de execução de tarefas ou o uso de recursos, além de detectar e tratar rapidamente exceções de tarefas. |
||
|
A página Alert information fornece o gerenciamento unificado de todos os alertas gerados pelo módulo Task Monitoring, incluindo alertas de aviso antecipado de linha de base, alertas de eventos, alertas de regras personalizadas e alertas de regras globais gerados pelas Intelligent Baselines. |
|||
|
A página Shift schedule fornece arranjos de agendamento para tratar alertas de O&M, garantindo uma resposta rápida quando os alertas são acionados ou as instâncias requerem manutenção. Após configure uma escala de plantão, o DataWorks envia Alerts para o pessoal de plantão correspondente, para que possam detectar e tratar rapidamente os problemas. |
|||
Outros recursos de O&M
Além do O&M de tarefas e do monitoramento inteligente, o DataWorks permite visualizar detalhes de mecanismos de computação (E-MapReduce), monitorar e gerencie o uso de grupos de recursos e personalizar parâmetros de agendamento, oferecendo recursos de O&M mais convenientes e abrangentes para o seu trabalho diário.
|
Módulo |
Descrição |
Disponibilidade |
|
|
A página Engine O&M permite visualizar informações detalhadas sobre os jobs do mecanismo de computação (E-MapReduce), identificar e limpar rapidamente jobs em execução errônea, além de impedir que esses jobs bloqueiem tarefas downstream e afetem a execução normal das instâncias. |
Este módulo não está disponível no Operation Center para o ambiente de desenvolvimento. |
||
|
A página Resource O&M fornece uma exibição visual do uso de grupos de recursos e da execução de tarefas de instância. Isso permite o monitoramento inteligente e o O&M automatizado de grupos de recursos e tarefas de instância, reduzindo operações manuais e melhorando a eficiência do O&M. |
- |
||
|
A página Scheduling configuration fornece uma plataforma para crie e gerencie o Scheduling Calendar e os Workspace-level Parameters, facilitando a personalização do agendamento de tarefas. |
- |
||
Apêndice: Status de execução e diagnóstico de instâncias
O Operation Center usa diferentes cores e ícones para indicar a etapa de uma tarefa no processo de execução. Cores e ícones diferentes representam status distintos da instância. A tabela a seguir descreve os status de tarefas correspondentes a cada cor e ícone de instância. Para mais detalhes sobre os pré-requisitos para executar uma tarefa, consulte Prerequisites for running a task.
|
Nº |
Tipo de status |
Ícone de status |
Fluxograma de execução |
|
1 |
Bem-sucedido |
|
|
|
2 |
Não executado |
|
|
|
3 |
Com falha |
|
|
|
4 |
Em execução |
|
|
|
5 |
Pendente |
|
|
|
6 |
Pausado/Congelado |
|
