Este tópico descreve como executar um nó, realizar operações de O&M e solucionar erros com base em logs.
Informações básicas
Por exemplo, ao configurar um ciclo de agendamento e dependências de agendamento para o nó, você define configurações para permitir que um nó de sincronização em lote seja executado às 02:00 todas as terças-feiras. Após submeter o nó, é necessário aguardar até o dia seguinte para visualizar o resultado da execução automática. O DataWorks permite executar o nó nos seguintes modos: execução de teste, backfill de dados e execução periódica. Assim, você verifica se o horário de agendamento de cada instância gerada, as dependências de agendamento e os dados produzidos atendem aos seus requisitos de negócios.
Execução de teste: aciona os nós manualmente. Recomendamos este modo para verificar apenas o horário de agendamento e a execução de um único nó. Para mais informações, consulte Executar testes e visualizar instâncias de teste.
Backfill de dados: aciona os nós manualmente. Indicado para verificar o horário de agendamento de múltiplos nós e as dependências entre eles, ou para refazer a análise e o cálculo de dados a partir de um nó raiz específico. Para mais informações, consulte Gerenciar instâncias de backfill de dados.
Execução periódica: aciona os nós automaticamente. Após a submissão de um nó, o sistema de agendamento executa automaticamente as instâncias do nó a partir das 00:00 do dia seguinte. Quando o horário de agendamento de cada instância chega, o sistema verifica se as instâncias ancestrais foram executadas com êxito. Se todas as instâncias ancestrais tiverem sido executadas com êxito, o sistema executa a instância sem intervenção manual. Para mais informações, consulte Instâncias acionadas automaticamente.
O sistema de agendamento gera instâncias para nós acionados manualmente e automaticamente com base nas mesmas regras.
O sistema gera instâncias para cada nó diariamente, independentemente de o agendamento ser por minuto, hora, dia, semana ou mês.
A execução das instâncias geradas para um nó ocorre apenas nos dias em que o horário de agendamento é atingido. Nesse caso, o sistema gera logs de execução para as instâncias.
Nas demais datas, o sistema não executa as instâncias geradas para um nó. Em vez disso, altera o status das instâncias para êxito assim que as condições de execução são atendidas. Nenhum log de execução é gerado para essas instâncias.
Para obter informações sobre O&M de nós, consulte Visão geral do Operation Center.
Realizar uma execução de teste
No canto superior esquerdo da página atual, clique em
e escolha .No painel de navegação à esquerda da página do Operation Center, escolha .
Na página exibida, localize o nó desejado e clique em Test na coluna Actions.
Na caixa de diálogo Test, configure os parâmetros Test Name e Data Timestamp e clique em OK.
-
Na página Test Instance, clique em nome da instância gerada. O grafo acíclico direcionado (DAG) da instância será exibido no lado direito.
No DAG, visualize as dependências de agendamento e os detalhes da instância, além de realizar operações nela. Por exemplo, clique com o botão direito do mouse na instância e selecione Stop ou Rerun para parar ou reexecutar a instância.
NotaNo modo de execução de teste, o acionamento do nó é manual. Quando o horário de agendamento chega, o sistema executa imediatamente a instância gerada para o nó, independentemente de as instâncias ancestrais terem sido executadas com êxito.
Considere um nó de sincronização configurado para execução às 02:00 de todas as terças-feiras. Com base nas regras de geração de instâncias descritas anteriormente neste tópico, se o data timestamp (que corresponde a um dia antes do horário de execução agendada) for definido como segunda-feira para uma execução de teste, o sistema executará a instância gerada para o nó de sincronização às 02:00 de terça-feira. Caso contrário, o sistema alterará o estado da instância para êxito às 02:00 de terça-feira, sem gerar logs de execução.
Backfill de dados
Recomendamos o backfill de dados para um nó quando você precisa verificar o horário de agendamento de múltiplos nós e as dependências entre eles, ou quando precisa refazer a análise e o cálculo de dados a partir de um nó raiz específico. Para realizar o backfill de dados de um nó, siga estas etapas:
No painel de navegação à esquerda da página do Operation Center, escolha .
Na página exibida, localize o nó desejado e escolha na coluna Actions.
-
Na caixa de diálogo Backfill Data, configure os parâmetros e clique em OK. A tabela a seguir descreve os parâmetros.
Parâmetro
Descrição
Data Backfill Instance Name
Nome da instância de backfill de dados gerada para o nó.
Data Timestamp
Data timestamp da instância de backfill de dados. O valor corresponde a
um dia antes do horário em que a instância está agendada para execução.Node
Nó para o qual você deseja realizar o backfill de dados. Por padrão, o nó atual é especificado e não pode ser alterado.
Concurrency
Define se múltiplas instâncias de backfill de dados serão executadas em paralelo. Se você definir este parâmetro como Yes, também será necessário especificar o número de instâncias de backfill de dados que podem ser executadas simultaneamente.
-
Na página Patch Data, clique em nome da instância de backfill de dados gerada para visualizar o DAG da instância.
No DAG, visualize as dependências de agendamento e os detalhes da instância, além de realizar operações nela. Por exemplo, clique com o botão direito do mouse na instância e selecione Stop ou Rerun para parar ou reexecutar a instância.
NotaNo modo de backfill de dados, a execução de uma instância em determinado dia depende da instância agendada para o dia anterior. Por exemplo, em um cenário de backfill de dados no período de 15 de setembro de 2017 a 18 de setembro de 2017 para um nó, se a instância de 15 de setembro de 2017 falhar, a instância de 16 de setembro de 2017 não poderá ser executada.
Considere um nó de sincronização configurado para execução às 02:00 de todas as terças-feiras. Com base nas regras de geração de instâncias descritas anteriormente neste tópico, se o data timestamp (que corresponde a um dia antes do horário de execução agendada) for definido como segunda-feira para uma operação de backfill de dados, o sistema executará a instância gerada para o nó de sincronização às 02:00 de terça-feira. Caso contrário, o sistema alterará o estado da instância para êxito às 02:00 de terça-feira, sem gerar logs de execução.
Execução periódica
No modo de execução periódica, o sistema de agendamento executa automaticamente instâncias para todos os nós com base nas configurações de agendamento definidas. Não há item de menu disponível para controlar a execução periódica de nós na página do Operation Center. Utilize um dos métodos a seguir para visualizar os detalhes e os logs de execução de uma instância gerada para um nó:
No painel de navegação à esquerda da página do Operation Center, escolha . Na aba Instance Perspective da página exibida, configure parâmetros como Data Timestamp ou Schedule para pesquisar uma instância específica do nó. Em seguida, escolha More > View Node Details na coluna Actions para visualizar os detalhes da instância, ou escolha More > View Runtime Log na coluna Actions para visualizar os logs de execução da instância.
-
Na aba Instance Perspective da página Cycle Instance, localize a instância desejada do nó e clique em nome da instância na coluna General para abrir o DAG da instância.
No DAG, visualize as dependências de agendamento e os detalhes da instância, além de realizar operações nela. Por exemplo, clique com o botão direito do mouse na instância e selecione Stop ou Rerun para parar ou reexecutar a instância.
NotaSe um nó ancestral não tiver sido executado, seus nós descendentes também não serão executados.
Quando o estado inicial de uma instância é pendente, o sistema de agendamento verifica se todas as suas instâncias ancestrais foram executadas com êxito assim que o horário de agendamento da instância é atingido.
Uma instância só pode ser executada após todas as suas instâncias ancestrais serem executadas com êxito e quando seu horário de agendamento for atingido.
Caso uma instância esteja pendente, verifique se todas as suas instâncias ancestrais foram executadas com êxito e se o horário de agendamento da instância foi atingido.