causas e soluções para incompatibilidades entre entrada/saída e linhagem de dados - DataWorks: Central de Documentação do Alibaba Cloud

Sintoma

Ao enviar um nó, o sistema alerta que as entradas e saídas configuradas não correspondem à linhagem de dados. Na caixa de diálogo Commit New Version, uma área de aviso rosa exibe uma mensagem específica, como "Input and data lineage do not match". Isso indica que a entrada enviada é workshop0423.ods_log_info_d, mas a entrada derivada da linhagem de dados é workshop0423.ods_log_info_d;workshop0423.ods_user_info_d_1. Para ativar o botão Confirm, selecione a caixa de seleção I confirm that I want to continue with the commit. Nesse cenário, na página de desenvolvimento do DataWorks, o código ODPS SQL à esquerda usa INSERT OVERWRITE TABLE dw_user_info_all_d para unir as tabelas ods_log_info_d e ods_user_info_d_1 e gravar o resultado na tabela de destino. À direita, o painel scheduling configuration possui duas seções: Parent Nodes e Outputs. Em Parent Nodes, o sistema analisa automaticamente a tabela de entrada workshop0423.ods_log_info_d. A seção Outputs inclui a saída padrão do sistema workshop0423.500889455_out e a tabela de saída adicionada manualmente workshop0423.dw_user_info_all_d. Essa incompatibilidade ocorre porque as tabelas analisadas na linhagem de dados conflitam com as dependências declaradas no painel de configuração de agendamento.

Possíveis causas

Esse aviso aparece quando as tabelas especificadas nas instruções SELECT do código não correspondem à configuração de Parent Nodes, ou quando as tabelas nas instruções INSERT ou CREATE não correspondem à configuração de Outputs.

Exemplos:

O código do nó enviado seleciona dados de table2, mas table2 não está configurada como nó ancestral deste nó.
A tabela doc_test foi configurada nos Outputs do nó, mas o código não grava dados nela.

Solução

Para tabelas sem geração periódica, ignore o aviso e envie o nó.
As dependências de agendamento do DataWorks visam principalmente garantir a disponibilidade dos dados em tabelas atualizadas periodicamente para os nós agendados. A plataforma não monitora tabelas fora do serviço de agendamento. Se o código do nó selecionar dados de uma tabela sem geração periódica, remova a dependência upstream analisada automaticamente da configuração de Parent Nodes. Tabelas sem geração periódica incluem:
- Tabelas carregadas no DataWorks a partir de uma máquina local
- Tabelas de dimensão
- Tabelas não geradas por um nó de acionamento automático do DataWorks
- Tabelas geradas por um nó de acionamento manual
Para tabelas com geração periódica, verifique cuidadosamente a consistência entre a linhagem de dados e as dependências de agendamento.
Forçar o envio sem essa verificação pode causar os seguintes problemas:
- Falha na obtenção dos dados mais recentes por um nó descendente. Por exemplo, se o código seleciona dados da Tabela A (gerada diariamente por um auto triggered node) e o nó gerador da Tabela A não for adicionado aos Parent Nodes do nó atual para estabelecer a dependência de agendamento, uma falha nesse nó gerador fará com que o nó descendente use dados obsoletos da última execução bem-sucedida, causando inconsistências.
- Ocorrência do erro "Dependent ancestor output name not found". Por exemplo, se o código cria ou insere dados na Tabela B, mas ela não estiver configurada como saída na seção Outputs, e outro nó selecionar dados dessa tabela, o sistema analisará automaticamente esse relacionamento e adicionará a Tabela B como entrada para esse nó, criando uma dependência. Contudo, o sistema não conseguirá rastrear essa dependência até o nó produtor da Tabela B. Ao tentar enviar o nó, a operação falhará com o erro "Node commit error: Dependent ancestor output name not found". Para obter mais informações, consulte Erro ao enviar nó: Nome de saída de ancestral dependente não encontrado.