O&M dashboard - DataWorks: Central de Documentação do Alibaba Cloud

Notas de uso

O painel de O&M permite visualizar as operações de auto triggered nodes, manually triggered nodes e Data Integration tasks no seu workspace sob as seguintes perspectivas:

Workspace especificado: Visualize o panorama de O&M de um workspace selecionado. Esta visão fornece um resumo operacional de todo o workspace e permite verificar separadamente os detalhes de O&M das tarefas de sincronização do Data Integration.
Todos os workspaces: Visualize o panorama de O&M de todos os workspaces associados à sua conta atual. Nesta visão, não é possível verificar separadamente os detalhes de O&M das tarefas de sincronização do Data Integration.

Limitações

O painel de O&M não está disponível na development environment of a workspace in standard mode.

Nota
Alterne entre os ambientes de Production e Development na barra de menu superior da interface do Operation Center.
Aba Auto Triggered Node: Exibe dados de O&M apenas para nós acionados automaticamente e suas instâncias. Dados de outros tipos de tarefas e instâncias são excluídos.
Aba Manually Triggered Node: Exibe dados de O&M apenas para workflows acionados manualmente e suas instâncias de nó internas.
Aba Data Integration: Exibe dados de O&M apenas para tarefas de sincronização em lote e em tempo real no Data Integration.

Acesse o painel de O&M

Faça login no console do DataWorks. Na região desejada, clique em Data Development and O&M > Operation Center no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Operation Center.

O&M para nós acionados automaticamente

A aba Auto Triggered Node mostra o panorama de O&M, incluindo a avaliação de estabilidade, problemas principais, distribuição de status de instâncias, status de conclusão de instâncias e uso de recursos pelos grupos de recursos para agendamento.

Avaliação de estabilidade de O&M

O sistema avalia a estabilidade operacional do seu workspace com base no status geral de execução das tarefas.

Workspace	Single workspace	All My Workspaces
Gráfico de estabilidade		Lista todos os workspaces com nome, nível de avaliação de estabilidade, número de instâncias acionadas automaticamente, taxa de conclusão dessas instâncias e integridade do workspace. A lista suporta paginação. Clique em View Details à direita de um workspace para abrir os detalhes de O&M desse workspace específico.
Descrição	A integridade da estabilidade é classificada como Excelente, Boa, Regular ou Ruim. Rótulos de alto ou baixo risco indicam um status de integridade ruim que exige atenção imediata e otimização.	Alterne para a visualização All My Workspaces no topo da página para ver a estabilidade de O&M, o número de instâncias acionadas automaticamente e o status de conclusão de instâncias de todos os workspaces dos quais você participa. Também é possível clicar em View Details na coluna Actions de um workspace específico para visualizar seus detalhes de estabilidade de O&M.

Problemas principais

Esta seção destaca exceções operacionais para nós acionados automaticamente, tanto na perspectiva do workspace quanto na pessoal, com base em linhas de base inteligentes e estatísticas de exceções. É possível visualizar problemas gerais do workspace ou apenas aqueles relacionados a tarefas de sua responsabilidade. Isso permite identificar e resolver problemas prontamente para evitar impactos nos negócios.

Tipo de problema	Descrição	Documentação relacionada	Ilustração
Instância de linha de base atrasada	Número de instâncias de linha de base atrasadas hoje. Uma instância é considerada atrasada se seu tempo estimado de conclusão exceder o tempo comprometido da linha de base, o que aciona um alerta.	Baseline instances	Exibe oito métricas principais em cartões: o número de Baseline instances in overtime, Baseline instances in alert, Error events e Slowdown events, cada um com sua variação diária e semanal, além do número de Isolated nodes, Frozen nodes, Expired nodes e Nodes modified today. Alterne entre as visualizações All e Mine.
Instância de linha de base em alerta	Número de instâncias de linha de base em estado de alerta hoje. A margem de alerta ajuda a garantir que dados importantes sejam produzidos no prazo em cenários de dependência complexos. Se a margem de alerta for excedida, os nós podem não concluir a tempo e ocorrerem exceções.	Baseline committed time and alert margin
Evento de erro	Número de eventos de erro ocorridos hoje. Quando uma tarefa é monitorada por uma linha de base, uma falha na execução gera um evento de erro. Uma tarefa com falha pode bloquear suas dependências downstream; portanto, resolva-a prontamente para garantir a operação normal.	Event management
Evento de lentidão	Número de eventos de lentidão ocorridos hoje. Um evento de lentidão ocorre quando a duração da execução de uma tarefa monitorada por linha de base aumenta significativamente em comparação com sua média histórica.	Event management
Nó isolado	Número de nós acionados automaticamente sem dependências upstream. Um nó acionado automaticamente sem dependências upstream torna-se um nó isolado e deixa de ser executado automaticamente.	Isolated nodes
Nó congelado	Número de nós acionados automaticamente no estado Congelado (pausado). Quando um nó acionado automaticamente é congelado, suas instâncias também são congeladas. Instâncias congeladas não são executadas e bloqueiam suas dependências downstream.	Freeze and unfreeze tasks
Nó expirado	Número de nós acionados automaticamente cujo período de validade do agendamento terminou. Um nó gera e executa automaticamente instâncias acionadas dentro de seu período de validade de agendamento. Fora desse período, nenhuma instância é gerada ou agendada.	Nenhuma
Nó modificado	Número de nós acionados automaticamente modificados hoje. Operações de modificação: Inclui alterações no código, configuração de agendamento, status do nó e proprietário do nó. Escopo: Inclui alterações feitas no DataStudio e implantadas no ambiente de produção, bem como modificações diretas em nós acionados automaticamente no ambiente de produção. Nota Ao alternar para a visualização Mine, esta métrica conta o número de nós modificados dos quais você é o proprietário.	Nenhuma

Panorama de instâncias e nós acionados automaticamente

A tabela a seguir descreve o panorama de O&M de instâncias e nós acionados automaticamente.

Métrica	Descrição	Ilustração
Instances Status	Escopo: Mostra a distribuição de status de instâncias acionadas automaticamente para um timestamp de dados específico, seja para o workspace atual ou para instâncias de sua responsabilidade. Os dados refletem o estado no momento da solicitação da página. Como visualizar: Clique em um segmento do gráfico de pizza para ver o número e a porcentagem de instâncias nesse estado. Estados de instância a observar: Falhou: Uma instância com falha pode bloquear suas tarefas dependentes downstream. Congelada: Uma instância congelada não será executada e bloqueará suas dependências downstream. Execução lenta: Uma instância em execução é considerada lenta se sua duração exceder a média dos últimos `10` dias em mais de `15` minutos. Se houver menos de `4` instâncias históricas, uma instância será considerada lenta se sua duração exceder 30 minutos. Nota Esta métrica inclui apenas normal tasks e exclui tarefas de simulação e congeladas.
Instances Completion Status	Escopo: Mostra o status de conclusão (número de instâncias bem-sucedidas ou não executadas) de instâncias acionadas automaticamente no workspace atual entre `00:00 e 23:00` no dia atual, comparado ao dia anterior e à média histórica. Exibição: O gráfico de linhas mostra as tendências de conclusão para hoje, ontem e a média histórica. Desvios significativos entre as linhas podem indicar uma anomalia que requer investigação adicional. Tipo de nó: Filtre os resultados por um tipo de nó específico. Média Histórica: Média do status de conclusão nos últimos `10` dias.
Trend of Nodes and Instances	Escopo: Mostra a tendência no número de nós e instâncias acionados automaticamente no ambiente de produção durante um intervalo de timestamp de dados selecionado. É possível visualizar dados de até o último ano.
Distribution of Auto Triggered Nodes	Escopo: Mostra o número e a proporção de nós acionados automaticamente, categorizados por dimensões como tipo de nó e ciclo de agendamento. Os dados refletem o estado no momento da solicitação da página. Exibição: O gráfico de pizza tem um limite para o número de categorias exibidas. Se o número de tipos exceder o limite, eles serão agrupados. Nota Na visualização All My Workspaces, é possível ver a distribuição de nós acionados automaticamente por workspace.

Uso do grupo de recursos de agendamento

Esta seção mostra a taxa de utilização do grupo de recursos para agendamento selecionado (porcentagem de recursos usados por instâncias em execução no grupo) e a tendência do número de instâncias em execução no grupo durante um período especificado.

Nota

É possível visualizar dados de até sete dias.
Se o uso de recursos exceder 80%, recomenda-se expandir o grupo de recursos para evitar que a escassez afete a execução de tarefas.
O uso de recursos e o número de instâncias em execução são medidos no nível do grupo de recursos. Por exemplo, se você usar um grupo de recursos exclusivo para agendamento compartilhado por vários workspaces, este gráfico mostrará o uso total de recursos e a tendência de contagem de instâncias em todos esses workspaces.

调度资源组使用情况

Classificações de instâncias acionadas automaticamente

Ranking of Instances on Previous Day

Esta seção classifica as Top 30 instâncias acionadas automaticamente do dia anterior por duração de execução, tempo de espera por recursos e duração de execução lenta. Use essa classificação para encontrar rapidamente tarefas demoradas. Clique em um Instance ID para ir à página de detalhes da instância e visualizar seus diagnósticos de execução.

Nota
Duração de execução lenta: Diferença entre a duração da execução de uma instância ontem e sua média histórica. As instâncias são ordenadas por essa diferença em ordem decrescente.
Ranking of auto triggered instances with the highest error rate in the last month

Esta seção classifica instâncias acionadas automaticamente pela taxa de erro no último mês, mostrando as Top 30 tarefas. Utilize esta lista para identificar rapidamente tarefas com alta taxa de erro, visualizar seus detalhes e encontrar a causa dos erros.

Nós acionados manualmente

A aba Manually Triggered Node mostra o status de execução de workflows acionados manualmente e suas instâncias de tarefas internas.

Panorama de tarefas manuais

Esta seção mostra o número total de workflows acionados manualmente e instâncias de tarefas internas que começaram a ser executadas a partir de uma data especificada, juntamente com sua taxa de sucesso.

Status de execução de instâncias de workflow

Métrica

Descrição

Ilustração

Distribution of Workflow Instances by Status

Um gráfico de pizza mostra a distribuição de instâncias de workflow acionadas manualmente por status de execução para uma determinada data de execução.

Clique em um segmento para navegar até a página de detalhes das tarefas nesse estado, onde é possível visualizar e tratar problemas. Preste atenção especial às tarefas com Run failed.
É possível visualizar dados de até sete dias.
Ao alternar para a visualização Mine, este gráfico mostra a distribuição de status de instâncias de workflow acionadas manualmente das quais você é o proprietário.

Workflow Ranking

Classifica workflows por duração de execução e taxa de falha para uma data de execução especificada.

Use essa classificação para encontrar rapidamente workflows lentos ou com alta taxa de falha. Clique em um Node ID para abrir a página de detalhes da Manual Workflow Instance. Lá, visualize os diagnósticos de execução de uma instância específica no DAG do workflow para entender seu status de execução.
Apenas os Top 30 workflows são exibidos.

Lista a classificação de workflows acionados manualmente com campos como ordinal, nome do workflow, criador e duração de execução. Alterne a dimensão de ordenação entre Run Duration e Failures, e filtre por data de execução.

Status de execução de instâncias de tarefas internas

Métrica

Descrição

Ilustração

Distribution of Internal Tasks

Um gráfico de pizza mostra a distribuição em tempo real de instâncias de tarefas internas no Operation Center, categorizadas por Node Type e Owner.

Internal Task Ranking

Classifica instâncias de tarefas internas por duração de execução e taxa de falha para uma data de execução especificada.

Utilize essa classificação para encontrar rapidamente instâncias de tarefas internas lentas ou com alta taxa de falha. Clique em um Node ID para ir à página de detalhes da Manual Workflow Instance. Na página de detalhes, visualize os diagnósticos de execução de uma instância específica no DAG do workflow para entender seu status de execução.
Apenas as Top 30 tarefas internas são exibidas.

Lista a classificação de tarefas internas com campos como ordinal, ID do nó, nome do nó, workflow, tipo de nó, criador e duração de execução. Alterne a dimensão de ordenação entre Run Duration e Failures.

Tarefas do Data Integration

A aba Data Integration mostra um panorama das tarefas de sincronização do Data Integration e do uso de grupos de recursos referente a Yesterday ou Today.

Uso de grupos de recursos do Data Integration

Esta seção mostra os detalhes de recursos para todas as tarefas do Data Integration no workspace atual, incluindo Running Tasks, Resource Usage e Last Modified At. Utilize a taxa de utilização de recursos e o volume de tarefas para determinar se deve aumentar ou diminuir os recursos para uma alocação ideal. Ela também mostra informações como nome do grupo de recursos, status, número de tarefas na fila, especificação e região, além de fornecer os pontos de entrada View, Renew e Create Resource Group.

Nota

Para mais informações sobre operações em um grupo de recursos exclusivo para Data Integration, consulte Billing of exclusive resource groups for Data Integration.
Para mais informações sobre operações em um grupo de recursos serverless, consulte Use a serverless resource group.
A aba Dashboard > Data Integration exibe dados de O&M apenas para grupos de recursos exclusivos para Data Integration.

Distribuição de status de execução de tarefas de sincronização do Data Integration

Um gráfico de pizza mostra a distribuição de tarefas de sincronização no workspace atual por status de execução. Clique em um segmento para navegar até a página de detalhes das tarefas nesse estado e visualizar ou tratar problemas. Preste atenção especial às tarefas Abnormal e Run failed, pois elas frequentemente bloqueiam a execução de tarefas downstream. 运行状态分布

Status de execução de tarefas de sincronização em lote

A tabela a seguir descreve o status de execução de tarefas de sincronização em lote.

Métrica	Descrição	Ilustração
Data Synchronization Progress	Mostra a quantidade total de dados e o tráfego total usados para sincronização em lote dentro do timestamp de dados selecionado.	Exibe três métricas de progresso de sincronização em lote como cartões: Total Data Volume, Total Public Network Traffic e Total Records.
Statistics on amount of synchronized data	Exibe curvas de leitura e gravação de dados por tipo de fonte de dados para o timestamp de dados selecionado. Isso ajuda a identificar rapidamente tarefas de engine com grandes volumes de dados e determinar se exigem mais recursos.
Latest Top 10 Tasks	Mostra as 10 instâncias mais recentes de Latest Failed Instance e Latest Successful Instance para oferecer uma visão global dos status mais recentes das tarefas de sincronização. Utilize as mensagens de erro para identificar rapidamente a causa de uma falha e resolvê-la.	Lista as Recent Failed Instances e Recent Successful Instances com campos como nome do nó, ID do nó, hora de início, hora de término e mensagem de erro.
Execution details of synchronization tasks	Pesquise rapidamente instâncias de tarefas filtrando por condições como Commission Time, Node Status e Node Name para visualizar seus detalhes de execução.	Lista os detalhes de execução de tarefas de sincronização com campos como ID da instância, nome do nó, hora de início, hora de término, duração, fontes de dados de origem e destino, volume de dados sincronizados, número de registros sincronizados e taxa de sincronização. Filtre por data de execução, status do nó e nome do nó.

Status de execução de tarefas de sincronização em tempo real

A tabela a seguir descreve o status de execução de tarefas de sincronização em tempo real.

Métrica	Descrição	Ilustração
Visão geral da sincronização de dados Overview	Mostra a taxa total de dados e a taxa de registros para todas as tarefas de sincronização em tempo real no workspace atual.	Exibe duas métricas de panorama de sincronização em tempo real como cartões: Data Speed (BPS) e Record Speed (RPS).
Top 10 tasks with the highest latency	Mostra as 10 tarefas de sincronização em tempo real com maior latência, permitindo identificá-las e otimizá-las rapidamente.	Lista as tarefas de sincronização em tempo real com maior latência, incluindo nome do nó, latência de negócios e informações do grupo de recursos.
Alerts	Mostra informações recentes de alertas de tarefas de sincronização em tempo real, permitindo capturar e resolver exceções rapidamente.	Lista os registros de alerta com campos como hora de ocorrência, ID do nó, nome do nó, destinatário, tipo de alerta (CRITICAL ou WARNING), condição de gatilho, limiar, hora do alerta e método de notificação.
Failover Information	Mostra mensagens de `failover` para tarefas de sincronização em tempo real dentro de um período especificado, fornecendo um panorama do status de `failover` da tarefa. Para mais informações sobre `failover`, consulte Run and manage real-time synchronization tasks.	Lista os registros de `failover` dentro do intervalo de tempo especificado com campos como hora, ID da instância, nome do nó, evento de failover e ações.