Uma operação de backfill de dados executa tarefas para um período histórico ou futuro e grava a saída nas partições temporais correspondentes. O sistema substitui automaticamente o parâmetro de agendamento no código por um valor específico, com base na data de negócios selecionada. A lógica do código grava os dados desse timestamp na partição especificada. A partição exata de gravação depende da lógica definida no código da tarefa.
Requisitos de permissão
Você precisa ter permissões de operação em todas as tarefas da cadeia de backfill de dados. Caso não possua permissão em alguma tarefa, ocorrerão as seguintes consequências:
Sem permissão em uma tarefa alvo direta: Se você não tiver permissões de operação na tarefa raiz do backfill de dados ou em qualquer uma de suas tarefas downstream, o backfill de dados não será executado.
-
Sem permissão em uma tarefa intermediária: Se uma tarefa para a qual você não tem permissão for um nó intermediário neste backfill de dados (ou seja, tanto suas tarefas upstream quanto downstream estão dentro do escopo do backfill), o sistema realizará uma execução simulada nessa tarefa.
Descrição da execução simulada: Após o início, a tarefa não executa a lógica de computação real. O sistema retorna imediatamente um status de Sucesso para acionar as tarefas downstream.
Aviso de risco: Uma tarefa intermediária executada como simulação não produz dados reais. Isso pode fazer com que suas tarefas downstream gerem saídas anormais ou falhem devido à falta de entrada. Prossiga com cautela.
Observações
Para garantir a estabilidade e a previsibilidade das operações de backfill de dados, leia atentamente as regras de execução a seguir.
1. Ciclo de vida da instância e retenção de logs
Limpeza de instâncias: As instâncias de backfill de dados não podem ser excluídas manualmente. A plataforma as limpa automaticamente cerca de 30 dias após a criação. Se uma tarefa não precisar mais ser executada, congele suas instâncias para interromper o agendamento.
-
Política de retenção: Os períodos de retenção de instâncias e logs variam conforme o tipo de grupo de recursos.
Tipo de grupo de recursos
Política de retenção de instâncias
Política de retenção de logs
Grupo de recursos compartilhado para agendamento
30 dias
7 dias
Grupo de recursos exclusivo para agendamento
30 dias
30 dias
Grupo de recursos serverless
30 dias
30 dias
Limpeza de logs grandes: Para instâncias concluídas cujos logs de execução excedem 3 MB, a plataforma realiza a limpeza diariamente.
2. Regras de execução de instâncias
Dependência estrita dia a dia: O backfill de dados é executado serialmente por data de negócios. As instâncias do dia seguinte começam a rodar somente após o sucesso de todas as instâncias do dia anterior. Se qualquer instância falhar, todas as tarefas das datas subsequentes serão bloqueadas.
Dependências entre dias não têm efeito: Dependências entre dias de tarefas diferentes não se aplicam durante o backfill de dados. Se você fizer o backfill de tarefas para um período que abrange vários dias, por padrão, as instâncias do próximo dia só serão executadas após a conclusão de todas as instâncias do dia anterior, em vez de serem acionadas com base nas dependências originais entre dias.
Tratamento entre dias para dependências de intervalo ou conjunto especificado: Para dependências do tipo intervalo ou conjunto especificado que abranjam vários dias, apenas as dependências do mesmo dia são adicionadas ao gerar instâncias de backfill de dados. As dependências entre dias são ignoradas automaticamente.
-
Comportamento de concorrência para tarefas horárias ou de minuto: Ao fazer o backfill de todas as instâncias de um determinado dia, a forma de execução é determinada pelo atributo de autodependência da tarefa:
Autodependência não definida: Todas as instâncias do dia (por exemplo, 00:00, 01:00 etc.) podem ser executadas em grupos, desde que suas respectivas dependências upstream sejam atendidas.
Autodependência definida: Todas as instâncias do dia são executadas estritamente em série (por exemplo, a instância das 01:00 só roda após o sucesso da instância das 00:00).
Conflito com instâncias agendadas: Para garantir o agendamento regular, as instâncias agendadas têm prioridade maior que as instâncias de backfill de dados. Se ambas forem executadas ao mesmo tempo, encerre manualmente a instância de backfill de dados.
Tratamento de tarefas na lista de bloqueios: Se uma tarefa bloqueada for um nó intermediário na cadeia de backfill de dados, ela também será executada como uma execução simulada, o que pode afetar a saída de dados das tarefas downstream.
3. Recursos de agendamento e prioridade
Configure os recursos adequadamente: Um número excessivo de instâncias de backfill de dados ou um grau de paralelismo muito alto consome muitos recursos de agendamento, o que pode afetar a operação normal das tarefas agendadas. Configure-os adequadamente conforme a necessidade.
-
Política de rebaixamento de prioridade: Para garantir os negócios principais, a plataforma ajusta dinamicamente a prioridade da tarefa com base na data de negócios do backfill de dados:
Backfill dos dados de ontem (T-1): A prioridade da tarefa permanece inalterada e é determinada pela prioridade da linha de base à qual pertence.
-
Backfill de dados históricos (T-2 e anteriores): As tarefas são automaticamente rebaixadas de acordo com as seguintes regras:
Nível original 7 ou 8 → rebaixado para o nível 3
Nível original 5 ou 3 → rebaixado para o nível 2
Nível original 1 → permanece inalterado
Crie uma tarefa de backfill de dados
Etapa 1: Acesse a página de backfill de dados
-
Faça login no console do DataWorks. Na região de destino, clique em no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Operation Center.
No painel de navegação à esquerda, clique em para acessar a página de backfill de dados.
Para fazer o backfill de dados de uma tarefa agendada específica, acesse a página e clique em Run ao lado da tarefa correspondente.
Etapa 2: Crie uma tarefa de backfill de dados
Na página de backfill de dados, clique em Create Data Backfill Task e configure a tarefa de backfill de dados de acordo com seus requisitos de negócios.
-
Configure as Basic information.
A plataforma gera automaticamente um nome de backfill de dados no formato padrão, modificável conforme necessário.
-
Selecione as tarefas para backfill.
Use métodos como Manually Select, Select by Link, Select by Workspace e Specify Task and All Descendant Tasks para iniciar o backfill de dados para tarefas nas quais você tem permissão de operação e selecione outras tarefas para backfill com base nessa tarefa. Os parâmetros de configuração diferem entre os métodos.
Seleção manual
Selecione uma ou mais tarefas como tarefas raiz e, em seguida, selecione as tarefas downstream das tarefas raiz como o escopo de tarefas para este backfill de dados. Este método é compatível com as soluções anteriores de backfill de dados Current Node, Current Node and Descendant Nodes e Advanced Mode.
Os parâmetros detalhados estão descritos abaixo.
Parâmetro
Descrição
Method
Selecione Manually Select.
Add Root Task
Pesquise e adicione tarefas raiz por nome ou ID. Clique em Batch Add para pesquisar por condições como grupo de recursos, agendamento e workspace, e adicionar várias tarefas raiz em lote.
NotaÉ possível selecionar apenas tarefas em workspaces dos quais você faz parte (ou seja, workspaces onde você é membro).
Selected Data Backfill List
As tarefas a serem submetidas a backfill. A lista mostra as tarefas raiz adicionadas. Com base nas tarefas raiz, selecione as tarefas downstream para backfill.
Nota-
Filtre as tarefas downstream por nível de dependência. As tarefas downstream diretas de uma tarefa raiz estão no nível 1 por padrão, e assim por diante.
-
Faça o backfill de até 500 tarefas raiz por vez, com um máximo de 2000 tarefas no total (tarefas raiz e suas tarefas downstream) (3000 nas regiões China (Beijing) e China (Hangzhou)).
-
Quando uma tarefa é configurada com um número máximo de instâncias paralelas, as instâncias de backfill de dados também estão sujeitas a esse limite e compartilham a cota de concorrência com as instâncias agendadas.
Task Blacklist
Se uma tarefa não precisar passar por backfill, adicione-a à lista de bloqueios. As tarefas na lista de bloqueios não participam deste backfill de dados.
Nota-
Apenas tarefas raiz podem ser adicionadas à lista de bloqueios. Se uma tarefa filha de uma tarefa raiz não precisar de backfill, remova-a da Selected Data Backfill List.
-
Se uma tarefa na lista de bloqueios for uma tarefa intermediária neste backfill de dados (ou seja, suas dependências upstream e downstream estiverem dentro do escopo deste backfill), a tarefa será executada como uma execução simulada para garantir que as tarefas downstream rodem (ela não executa realmente e retorna imediatamente um status de sucesso após o início), mas isso pode causar saída de dados anormal para as tarefas downstream desta tarefa.
Seleção por cadeia
Selecione uma tarefa inicial e uma ou mais tarefas finais. Por meio de análise automática, todas as tarefas entre a tarefa raiz e as tarefas finais são usadas como escopo de tarefas para este backfill de dados (incluindo as tarefas iniciais e finais).
Os parâmetros detalhados estão descritos abaixo.
Parâmetro
Descrição
Method
Selecione Select by Link.
Search Tasks
Pesquise por nome ou ID para adicionar uma tarefa inicial e uma ou mais tarefas finais. A plataforma analisa as tarefas intermediárias com base nas tarefas iniciais e finais (ou seja, as tarefas intermediárias são tarefas downstream diretas ou indiretas da tarefa inicial e tarefas upstream diretas ou indiretas das tarefas finais).
Intermediate Task List
Lista de tarefas intermediárias analisadas automaticamente pela plataforma com base nas tarefas iniciais e finais.
NotaA lista mostra apenas 2000 tarefas. Tarefas além de 2000 não são exibidas, mas são executadas normalmente.
Task Blacklist
Se uma tarefa não precisar passar por backfill, adicione-a à lista de bloqueios. As tarefas na lista de bloqueios não participam deste backfill de dados.
NotaSe uma tarefa na lista de bloqueios for uma tarefa intermediária neste backfill de dados (ou seja, suas dependências upstream e downstream estiverem dentro do escopo deste backfill), a tarefa será executada como uma execução simulada para garantir que as tarefas downstream rodem (ela não executa realmente e retorna imediatamente um status de sucesso após o início), mas isso pode causar saída de dados anormal para as tarefas downstream desta tarefa.
Seleção por workspace
Selecione uma tarefa como tarefa raiz e determine o escopo de tarefas para este backfill de dados com base nos workspaces dos nós downstream. Este método é compatível com a solução anterior de backfill de dados Massive Node Mode.
NotaCompatível com a solução anterior de backfill de dados Massive Node Mode.
Não há suporte para configurar uma lista de bloqueios de tarefas.
Os parâmetros detalhados estão descritos abaixo.
Parâmetro
Descrição
Method
Selecione Select by Workspace.
Add Root Task
Pesquise e adicione tarefas raiz por nome ou ID. A plataforma faz o backfill das tarefas nos workspaces das tarefas downstream da tarefa raiz.
NotaÉ possível selecionar apenas tarefas em workspaces dos quais você faz parte (ou seja, workspaces onde você é membro).
Include Root Node
Defina se este backfill de dados inclui a tarefa raiz.
Data Backfill Workspaces
Com base nos workspaces das tarefas downstream da tarefa raiz, selecione os workspaces cujos nós você deseja submeter a backfill.
Nota-
Selecione apenas workspaces do DataWorks na região atual para operações de backfill de dados.
-
Após selecionar um workspace, todos os nós nele são submetidos a backfill por padrão. Personalize a lista de permissões e a lista de bloqueios de backfill de dados conforme necessário.
Add to Whitelist
Nós que ainda precisam ser submetidos a backfill, além dos nós contidos nos workspaces selecionados.
Task Blacklist
Nós nos workspaces selecionados que não precisam ser submetidos a backfill.
Especificar uma tarefa e todas as suas tarefas downstream
Após selecionar uma tarefa raiz, a plataforma analisa automaticamente e utiliza a tarefa e todas as suas tarefas downstream como o escopo de tarefas para este backfill de dados.
ImportanteVisualize as tarefas acionadas apenas enquanto a tarefa de backfill de dados estiver em execução. Use com cautela.
Os parâmetros detalhados estão descritos abaixo.
Parâmetro
Descrição
Method
Selecione Specify Task and All Descendant Tasks.
Add Root Task
Pesquise e adicione tarefas raiz por nome ou ID. A plataforma faz o backfill da tarefa raiz e de todas as suas tarefas downstream.
Nota-
É possível selecionar apenas tarefas em workspaces dos quais você faz parte (ou seja, workspaces onde você é membro).
-
Se a tarefa raiz selecionada não tiver tarefas downstream, apenas os dados da tarefa raiz atual serão submetidos a backfill após o envio da tarefa de backfill de dados.
Task Blacklist
Se uma tarefa não precisar passar por backfill, adicione-a à lista de bloqueios. As tarefas na lista de bloqueios não participam deste backfill de dados.
NotaSe uma tarefa na lista de bloqueios for uma tarefa intermediária neste backfill de dados (ou seja, suas dependências upstream e downstream estiverem dentro do escopo deste backfill), a tarefa será executada como uma execução simulada para garantir que as tarefas downstream rodem (ela não executa realmente e retorna imediatamente um status de sucesso após o início), mas isso pode causar saída de dados anormal para as tarefas downstream desta tarefa.
-
Configure a política de execução do backfill de dados.
Configure informações como o horário de execução da tarefa de backfill de dados, execução em grupos, acionamento de alertas e o grupo de recursos a ser usado, com base nos seus requisitos de negócios.
Os parâmetros estão descritos abaixo.
Parâmetro
Descrição
Data Timestamp
Especifique as datas de negócios para fazer o backfill da tarefa. Há suporte para entrada manual, geração baseada em IA e entrada em lote.
Com base nas datas e opções selecionadas, o sistema usa diferentes políticas de execução:
Cenário 1: Backfill de dados históricos (data de negócios < data atual)
Este é o cenário de backfill de dados mais comum. Quando a data de negócios selecionada é anterior a hoje, o sistema cria e executa imediatamente a instância da tarefa para essa data histórica para rastrear e recomputar dados passados.
-
Finalidade: Corrigir erros de dados históricos e preencher dados ausentes.
-
Modo de execução: Executar imediatamente.
Cenário 2: Agendar uma tarefa futura (data de negócios > data atual)
Se você selecionar uma data de negócios futura e não selecionar nenhuma opção especial, isso equivale a criar uma tarefa agendada "única" futura.
-
Finalidade: Agendar antecipadamente uma execução única de tarefa para uma data específica conhecida no futuro.
-
Modo de execução: Executar quando agendada. A instância é criada e entra no estado pendente. Ela é executada automaticamente com base nas próprias configurações de agendamento da tarefa apenas quando sua data de negócios correspondente chega.
Cenário 3: Executar imediatamente instâncias cujo horário agendado é posterior à hora atual (selecione Run immediately)
Run Retroactive Instances Scheduled to Run after the Current Time é uma opção avançada. Esta opção é exibida quando a data de negócios do backfill de dados é posterior à data atual, ou quando a data de negócios é T-1 e a tarefa contém instâncias cujo horário agendado é posterior à hora atual. Após selecioná-la, as instâncias cujo horário agendado é posterior à hora atual são executadas imediatamente em vez de esperar até o horário agendado correspondente.
-
Finalidade: Executar antecipadamente instâncias de tarefas para datas futuras, preparar dados para partições específicas antecipadamente para migração de dados ou testes, ou executar imediatamente instâncias horárias ou de minuto cujo horário agendado ainda não chegou ao fazer backfill de dados T-1.
-
Modo de execução: Executar imediatamente após a seleção.
-
Exemplo 1 (backfill de dados futuros): A data atual é
2024-03-12, e você escolhe fazer o backfill dos dados para2024-03-17e seleciona Run Retroactive Instances Scheduled to Run after the Current Time. Neste caso, a instância da tarefa inicia imediatamente em2024-03-12, mas o parâmetro de data de negócios que ela usa durante a execução (que afeta a partição de dados, por exemplo) é2024-03-17. -
Exemplo 2 (backfill de dados T-1): A hora atual é
2024-03-12 14:30, e você escolhe fazer o backfill dos dados para2024-03-11(T-1). A tarefa é agendada por hora (executa uma vez a cada hora). Se você não selecionar esta opção, as instâncias agendadas para 15:00, 16:00 e outros horários posteriores às 14:30 devem esperar até seus respectivos horários agendados para serem executadas. Após selecionar Run Retroactive Instances Scheduled to Run after the Current Time, todas as instâncias são executadas imediatamente.
Nota-
O conceito de data de negócios: Na computação em lote, uma tarefa normalmente processa os dados de ontem (T-1) hoje (T). O recurso de backfill de dados gera instâncias para uma "data de negócios" especificada, permitindo que você controle precisamente os dados de qual dia a tarefa processa.
-
Vários períodos de tempo: Para fazer backfill de dados para várias datas não consecutivas, clique em Add para configurar vários períodos de tempo.
-
Planejamento de recursos: Recomendamos não definir um intervalo de tempo muito longo para um único backfill de dados. Um grande número de instâncias de backfill de dados consome recursos de agendamento, o que pode afetar a operação de tarefas agendadas regulares.
Period
Especifique o período durante o qual as tarefas selecionadas são executadas. Uma tarefa gera e executa instâncias apenas quando seu horário agendado cai dentro deste período. Use este recurso para executar apenas instâncias de períodos especificados para tarefas agendadas por hora ou minuto (ou seja, para fazer backfill apenas de dados dentro dos períodos especificados). O padrão é
00:00-23:59.Nota-
Se o horário agendado de uma tarefa não estiver dentro deste período, a tarefa não gera instâncias. Se existir um caso em que uma tarefa de ciclo maior dependa de uma tarefa de ciclo menor (por exemplo, uma tarefa diária depende de uma tarefa horária), instâncias isoladas podem ser geradas, o que bloqueia a operação da tarefa.
-
Recomendamos modifique este parâmetro apenas quando uma tarefa agendada por hora ou minuto precisar fazer backfill de dados para períodos especificados.
Run by Group
Ao fazer backfill de dados para várias datas de negócios, especifique um número de grupos para executar esta tarefa de backfill de dados simultaneamente. Os valores são os seguintes:
-
Yes: A plataforma divide as datas de negócios pelo número especificado de grupos e gera vários grupos de lotes de backfill de dados que são executados simultaneamente com base no resultado do agrupamento.
-
No: Executa serialmente na ordem da data de negócios. A próxima instância de backfill de dados é executada apenas após a conclusão da anterior.
NotaSe as instâncias de um determinado dia para uma tarefa horária ou de minuto são executadas simultaneamente em grupos depende se a própria tarefa horária ou de minuto está configurada com uma autodependência.
O número de grupos varia de
2 a 10. Vários grupos de instâncias são executados simultaneamente da seguinte forma:-
Se o intervalo de tempo das datas de negócios for menor que o número de grupos, as tarefas são executadas simultaneamente em grupos.
Por exemplo, se as datas de negócios forem de
11 de janeiro a 13 de janeiroe o número de grupos for 4, apenas três instâncias de backfill de dados serão geradas (cada instância corresponde a uma data de negócios), e as três instâncias serão executadas simultaneamente em grupos. -
Se o intervalo de tempo das datas de negócios for maior que o número de grupos, a plataforma executa as tarefas tanto serialmente quanto em paralelo com base na Order da data de negócios.
Por exemplo, se as datas de negócios forem de
11 de janeiro a 13 de janeiroe o número de grupos for 2, duas instâncias de backfill de dados serão geradas (uma das instâncias contém duas datas de negócios, e as tarefas para essas duas datas são executadas serialmente), e as duas instâncias de backfill de dados são executadas em paralelo.
Alert for Data Backfill
Defina se esta operação de backfill de dados aciona alertas.
-
Yes: Um alerta é gerado quando a condição de acionamento é atendida.
-
No: Este backfill de dados não aciona alertas.
Trigger Condition
Defina a condição de acionamento do alerta apenas quando Alert for Data Backfill estiver definido como Yes:
-
Alert on Failure or Success: Um alerta é gerado independentemente de o backfill de dados ter sucesso ou falhar.
-
Alert on Success: Um alerta é gerado apenas quando o backfill de dados tem sucesso.
-
Alert on Failure: Um alerta é gerado apenas quando o backfill de dados falha.
Alert Notification Method
Somente quando Alert for Data Backfill estiver definido como Yes você poderá escolher receber alertas por Text Message and Email, SMS ou Email. O destinatário do alerta é o iniciador do backfill de dados.
NotaClique em Check Contact Information para verifique se o número de telefone ou endereço de e-mail do destinatário do alerta está registrado. Se não estiver registrado, consulte Configurar contatos de alerta para configurá-lo.
Order
Escolha executar o backfill de dados em Ascending by Business Date ou Descending by Business Date.
Scheduling Resource Group
Especifique o grupo de recursos usado para executar as instâncias de backfill de dados.
-
Inherit Task Configuration: Usa o grupo de recursos originalmente configurado para a tarefa agendada para executar as instâncias de backfill de dados.
-
Specify Resource Group for Scheduling: Usa um grupo de recursos especificado para executar as instâncias de backfill de dados, evitando contenção de recursos entre instâncias de backfill de dados e instâncias agendadas.
Nota-
Certifique-se de que a conectividade de rede do grupo de recursos esteja configurada; caso contrário, a tarefa pode falhar. Se o grupo de recursos especificado não estiver associado ao workspace relevante, o grupo de recursos da tarefa agendada original ainda será usado.
-
Recomendamos usar um grupo de recursos serverless ou um grupo de recursos exclusivo para agendamento, que pode fornecer um grupo de recursos de computação dedicado para garantir transferência de dados rápida e estável quando as tarefas são executadas com alta concorrência e não podem ser executadas em períodos escalonados.
Execution Period
Especifique quando a tarefa de backfill de dados gerada desta vez será executada.
-
Inherit Task Configuration: Executa com base no horário agendado das instâncias de backfill de dados.
-
Specify Time Period: Defina a tarefa de backfill de dados para ser acionada e executada apenas dentro de um período de tempo especificado. Defina o período de execução adequadamente com base no número de tarefas a serem submetidas a backfill.
NotaTarefas que estiverem no estado não executado após este período não serão executadas, enquanto tarefas que estiverem no estado de execução após este período continuarão sendo executadas.
Computing Resources
Atualmente, apenas recursos de computação EMR e Serverless Spark podem ser definidos como recurso de computação para backfill de dados.
Certifique-se de que o recurso de computação mapeado exista e esteja disponível; caso contrário, o agendamento de tarefas pode ser afetado.
-
-
-
Configure a política de verificação da tarefa de backfill de dados.
Use esta opção para configure se a execução da tarefa deve ser encerrada quando a verificação do backfill de dados falhar. A plataforma verifica o status básico e os riscos potenciais desta tarefa de backfill de dados, da seguinte forma:
Status básico: O número de tarefas envolvidas neste backfill de dados, o número de instâncias geradas e a existência de ciclos de nós, nós isolados ou instâncias sem permissão.
Detecção de riscos: Detecta se existem ciclos de nós e nós isolados. Ambas as situações causam operação anormal da tarefa. Configure a tarefa de backfill de dados para encerrar quando a verificação falhar.
Clique em Submit para concluir a criação da tarefa de backfill de dados.
Etapa 3: Executar a tarefa de backfill de dados
Quando a tarefa de backfill de dados atinge seu horário de execução configurado e não existem anomalias, a tarefa é acionada automaticamente para execução.
A tarefa de backfill de dados não pode ser executada se as seguintes condições forem atendidas:
A tarefa de backfill de dados tem verificações ativadas, e uma falha na verificação bloqueia a operação da tarefa. Para obter mais informações, consulte Criar uma tarefa de backfill de dados: Etapa 4.
A operação de backfill de dados tem verificações de extensão ativadas, e uma falha na verificação bloqueia a operação da tarefa. Para obter mais informações, consulte Gerencie extensões.
Gerencie instâncias de backfill de dados
Consultar instâncias de backfill de dados
No painel de navegação à esquerda, clique em para acessar a página de backfill de dados.
No lado direito da página de backfill de dados, clique em Show Search Options para filtrar as instâncias a serem consultadas por condições como Data Backfill Instance Name, Running status e Task type. Encerre rapidamente tarefas de backfill de dados em execução em lote.
Visualizar status da instância de backfill de dados
Nesta área, visualize informações sobre as instâncias de backfill de dados, incluindo:
Node Name: Mostra o nome da instância de backfill de dados. Clique no ícone
antes do nome da instância para mostrar a data de execução e o status de execução da instância, bem como os nós que ela contém e seus detalhes de execução.Check Status: O status de verificação da instância de backfill de dados atual.
Running status: Inclui status como sucesso, falha, aguardando recursos e aguardando para ser acionado. Solucione problemas relacionados com base em status anormais.
Nodes: O número de nós contidos na instância de backfill de dados.
Data Timestamp: A data em que a instância de backfill de dados é executada.
Max Parallel Instances: Mostra o número máximo de instâncias paralelas configurado para a tarefa, seja Unlimited ou um valor específico (1 a 10000). Esta configuração limita o número máximo de instâncias da mesma tarefa que podem ser executadas ao mesmo tempo. Este valor é compartilhado entre instâncias agendadas, instâncias de backfill de dados e instâncias de teste.
Visualize View Task Analysis Results: Consulte as instâncias que a tarefa deve gerar, as datas de execução e os resultados da verificação de riscos para lidar prontamente com tarefas bloqueadas. A página Data backfill task analysis result exibe as seguintes informações: Data backfill name, Task analysis (que lista cada nome de workspace e o número esperado de instâncias geradas em uma tabela), o intervalo de Business date, o intervalo de tempo de Specified period e o resultado da Risk check (incluindo se a detecção de ciclo e a detecção de tarefa isolada foram aprovadas).
-
Actions: Execute operações como Batch Terminate, Batch Rerun e Reuse nas instâncias de backfill de dados.
Operação
Descrição
Batch Terminate
Selecione e encerre em lote instâncias no estado Running dentro das instâncias de backfill de dados. Após esta operação, as instâncias correspondentes são definidas para o estado Run failed.
NotaNão há suporte para encerrar instâncias no estado Not Running, Succeeded ou Run failed.
Batch Rerun
Reexecute instâncias de backfill de dados em lote.
Nota-
Apenas instâncias no estado Succeeded ou Run failed podem ser reexecutadas.
-
Uma reexecução em lote reexecuta imediatamente as instâncias selecionadas e não as executa de acordo com as dependências entre as instâncias. Para executá-las em ordem, use Rerun Descendent Nodes ou execute a operação Run novamente.
Reuse
Reutilize o conjunto de nós de uma operação anterior de backfill de dados para selecionar rapidamente os nós para backfill.
-
Gerencie tarefas de backfill de dados
Nesta área, visualize informações sobre os nós contidos na instância de backfill de dados, incluindo:
Name: Clique no nome de um nó para acessar a página de detalhes do nó e visualizar mais informações.
Timing Time: O horário de execução agendado definido para a tarefa do nó.
Start run time: A hora de início da execução da tarefa do nó.
End Time: A hora de término da execução da tarefa do nó.
Run when Long: A duração da execução da tarefa do nó.
-
Actions: Gerencie uma tarefa de nó de backfill de dados com operações como visualizar o DAG, Terminate e Rerun.
Operação
Descrição
DAG
Visualize o DAG do nó para analisar as tarefas upstream e downstream do nó. Para obter mais informações, consulte Introdução ao recurso DAG.
Terminate
Encerre um nó no estado Running. Após esta operação, o nó é definido para o estado Run failed.
Nota-
Não há suporte para encerrar nós no estado Not Running, Succeeded ou Run failed.
-
Esta operação faz com que a instância falhe e bloqueia a operação dos nós downstream da instância. Esteja ciente dos riscos e prossiga com cautela.
Rerun
Reexecute a tarefa do nó de destino.
NotaApenas nós no estado de sucesso ou falha podem ser reexecutados.
More
Rerun Descendent Nodes
Reexecute os nós downstream da tarefa do nó de destino.
Set to Successful
Defina o status da tarefa do nó como sucesso.
Pause (Freeze)
Defina o nó atual para o estado pausado (congelado) e pare o agendamento.
NotaOs estados Waiting for resources, Waiting time e Running (código do nó em execução, verificação de qualidade de dados em andamento) não suportam a operação de congelamento.
Unfreeze
Retome o agendamento para um nó pausado (congelado).
View Lineage
Visualize o gráfico de linhagem do nó.
-
Para os nós de tarefa selecionados, clique em Terminate ou Rerun para encerrar ou reexecutar em lote as tarefas de nó selecionadas.
Descrições de status da instância
|
Tipo de status |
Indicador de status |
|
Estado de sucesso |
|
|
Estado não executado |
|
|
Estado de falha |
|
|
Estado de execução |
|
|
Estado pendente |
|
|
Estado congelado |
|





