DataWorks:Configurar regras em lote por modelo

Atributos básicos

Propriedades avançadas

Escolha um método de comparação

O Intelligent Dynamic Threshold está disponível apenas para regras baseadas em instruções SQL personalizadas, intervalos personalizados ou limiar dinâmico.

Configure o grau de importância

Configure monitoring thresholds

• Se o Comparison Method estiver definido como Manual Settings:

  • Normal Threshold: O resultado da verificação de qualidade de dados atende à condição especificada, indicando que a saída de dados está conforme o esperado.

  • Red Threshold: O resultado da verificação de qualidade de dados atende à condição especificada, indicando que a saída de dados não está conforme o esperado.

  • Para resultados numéricos, compare com um valor fixo usando: Greater Than, Greater Than Or Equal To, Equal To, Not Equal To, Less Than ou Less Than Or Equal To.

  • Para verificações baseadas em flutuação, utilize Absolute Value, Raise ou Drop como método de comparação.

  • Se o Comparison Method estiver definido como Intelligent Dynamic Threshold:

    • Orange Threshold: O resultado da verificação de qualidade de dados atende à condição especificada, significando que os dados são anormais, mas seus negócios não são afetados.

  Status: Defina como Ative para permitir a execução da regra em produção. Se definido como Disable, a regra não poderá ser executada em modo de teste nem acionada por nós de agendamento.

  Importante

  Desativar uma regra impede sua execução tanto em ambientes de teste quanto de produção.

  Clique em Next para prosseguir para a página Generate Monitoring Rule.

  Etapa 3: Adicionar tabelas ou campos

  Com base no tipo de modelo selecionado, adicione as tabelas ou campos que deseja verificar.

  Adicionar tabelas (Modelo de Regra de Nível de Tabela)

  1. Clique em Add Table. Na página Batch Create, selecione as tabelas que deseja adicionar.

     A lista mostra todas as tabelas correspondentes ao Data Source Type configurado na etapa anterior. Filtre por Table Name conforme necessário.

  2. Clique em Confirme para adicionar as tabelas selecionadas à lista Tables for Which You Want to Configure Rules.

  Adicionar campos (Modelo de Regra de Nível de Campo)

  1. Clique em Add Fields. Na caixa de diálogo Selecione um campo, selecione a tabela que contém o campo de destino.

     A área Tables to Be Selected lista as tabelas com base no Data Source Type configurado na etapa anterior.

  2. Após selecionar uma tabela, a seção Select Fields exibe todos os campos dessa tabela. Filtre por Field Name ou Field Description conforme necessário.

     

  3. Selecione o campo e clique em Crie. O campo aparecerá na lista Fields for Which You Want to Configure Rules.

  Etapa 4: Associar um monitor de qualidade

  Um monitor de qualidade define o escopo dos dados (o Data Range, como uma partição específica) e as configurações de acionamento para a verificação de qualidade. Associe cada tabela ou campo a um monitor de qualidade.

  Configuração em lote

  1. Selecione uma ou mais tabelas ou campos e clique em Configure Monitor.

     

  2. Escolha uma das seguintes ações em lote:

     • Automatically Associate: Associa automaticamente as tabelas ou campos selecionados a monitores de qualidade existentes.

     • Disassociate: Remove a associação do monitor de qualidade das tabelas ou campos selecionados.

     • Batch Add: Cria novas configurações de monitor de qualidade para as tabelas selecionadas. Configure o seguinte:

       Item de configuração	Descrição
       Data Range	Partição ou escopo de dados a verificar. Para tabelas não particionadas, use uma cláusula WHERE para limitar o escopo (ou deixe em branco para verificar todos os dados). Para tabelas particionadas, use o formato Partition key=Partition value. O valor da partição pode ser uma constante ou uma expressão de filtro de partição integrada.
       Trigger Method	Triggered by Node Scheduling in Production Environment: As verificações são executadas automaticamente após a conclusão do nó de agendamento associado no Operation Center. Nós de simulação (dry-run) não acionam verificações. Triggered Manually: As verificações são executadas apenas quando acionadas manualmente.
       Associated Scheduling Node	Disponível quando o Trigger Method está definido como Triggered By Node Scheduling In Production Environment. Selecione os nós de agendamento para associar ao monitor.
       Running Resources	Recursos de computação usados para executar a regra. O padrão é a fonte de dados da tabela monitorada no workspace atual. Se selecionar uma fonte de dados diferente, certifique-se de que ela possa acessar a tabela monitorada.

     Importante

     Para tabelas que não sejam do MaxCompute com a opção Triggered By Node Scheduling In Production Environment selecionada, não associe nós de agendamento executados no grupo de recursos compartilhados para agendamento. Isso pode causar erros durante a execução do monitor.

  Configuração de tabela única

  1. Na coluna Quality Monitoring, ao lado da tabela ou campo de destino, selecione um monitor de qualidade existente ou clique em New Quality Monitoring para criar um novo.

     

  2. Se nenhum monitor existir, clique em Create Monitor e configure o seguinte:

     Configurações básicas

     Parâmetro	Descrição
     Monitor Name	Nome do monitor.
     Quality Monitoring Owner	Proprietário do monitor. Ao configurar assinaturas de alertas, especifique o proprietário como destinatário usando Email, Email and SMS ou Telephone.
     Monitored Object	Tabela a ser verificada. O padrão é a tabela atual.
     Data Range	Partição ou escopo de dados a verificar. Para tabelas não particionadas, todos os dados são verificados por padrão. Para tabelas particionadas, use o formato Partition key=Partition value. O valor da partição pode ser uma constante ou uma expressão de filtro de partição integrada. > Nota Para regras baseadas em modelos personalizados ou instruções SQL personalizadas, o Data Range não tem efeito. A partição é determinada pela instrução SQL na regra.
     Monitoring Rule	Regras de monitoramento a serem associadas a este monitor. Se ainda não existirem regras, pule este campo e adicione-as após criar o monitor.

     Configurações de execução

     Parâmetro	Descrição
     Trigger Method	Igual à configuração em lote.
     Associated Scheduling Node	Igual à configuração em lote.
     Running Resources	Igual à configuração em lote.

     Políticas de tratamento

     Parâmetro	Descrição
     Quality Issue Handling Policies	Blocks: Se um problema de qualidade de dados for detectado, o nó de agendamento que gera a tabela é definido como Falha, bloqueando nós downstream. Padrão: Strong rules · Red anomaly. Alert: Envia notificações de alerta quando um problema é detectado. Padrões: Strong rules · Red anomaly, Strong rules · Orange exception, Strong rules · Check Failed, Weak rules · Red anomaly, Weak rules · Orange exception, Weak rules · Check Failed.
     Alert Method Configuration	Canais de notificação: Email, Email and SMS, DingTalk Chatbot, DingTalk Chatbot @ALL, Lark Group Chatbot, Enterprise WeChat Robot, Custom Webhook ou Telephone. Para chatbots do DingTalk, Lark ou WeChat, adicione o bot e copie a URL do webhook para o campo Recipient. O Custom Webhook está disponível apenas no DataWorks Enterprise Edition. Consulte Apêndice: Formato de mensagem do Webhook para o formato da mensagem. Ao usar Email, Email and SMS ou Telephone, defina o destinatário como Data Quality Monitoring Owner (o proprietário definido nas Configurações Básicas), Shift Schedule (a pessoa de plantão na escala) ou Scheduling Task Owner (o proprietário do nó de agendamento associado).

  3. Após criar o monitor, retorne à página de regras de monitoramento em lote e clique em Refresh. Em seguida, selecione o monitor recém-criado na coluna Quality Monitoring.

     

  Etapa 5: Testar e finalizar

  Clique em Generate Monitoring Rule para abrir a página Verify Monitoring Rule. Nesta página:

  • Test Run: Selecione uma ou mais regras e clique em Test Run. Na caixa de diálogo, selecione um Data Timestamp (o horário de acionamento simulado). O sistema calcula os valores de partição com base no horário especificado e no Data Range, e então verifica se os dados atendem à regra configurada. Após a conclusão do teste, clique em Running Records na coluna Actions para visualizar os resultados.

    

  • Subscriptions: Configure destinatários de alertas e canais de notificação. Consulte as opções de método de alerta na Etapa 4.

  • Associated Scheduling: Vincule regras a nós de agendamento. Use Use Recommended Running Mode para permitir que o sistema associe automaticamente as regras aos nós recomendados com base na linhagem de dados, ou use Manually Specify Running Mode para associar regras a nós específicos manualmente.

    Importante

    Uma regra deve estar associada a um nó de agendamento para ser acionada automaticamente.

    

  • View Rule Details: Clique em Visualize detalhes da regra na coluna Actions para abrir a página de detalhes de uma regra, onde é possível modificar, iniciar, parar ou excluir a regra e visualizar logs.

  • Delete: Remova uma ou mais regras selecionadas.

  Após o sucesso do teste e a associação do agendamento, clique em Complete Check.

  Próximos passos

  Após a execução do monitor, escolha Quality O&M no painel de navegação à esquerda e clique em Monitor > Running Records para visualizar o status das verificações de qualidade e o histórico completo de verificações de regras para as tabelas monitoradas.

  Apêndice: Formato de mensagem do Webhook

  Esta seção descreve o formato da mensagem e os parâmetros para notificações de alerta enviadas usando um Custom Webhook.

  Mensagem de exemplo

  {
    "detailUrl": "https://dqc-cn-zhangjiakou.data.aliyun.com/?defaultProjectId=3058#/jobDetail?envType=ODPS&projectName=yongxunQA_zhangbei_standard&tableName=sx_up_001&entityId=10878&taskId=16876941111958fa4ce0e0b5746379cd9bc67999d05f8&bizDate=1687536000000&executeTime=1687694111000",
    "datasourceName": "emr_test_01",
    "engineTypeName": "EMR",
    "projectName": "Project name",
    "dqcEntityQuality": {
      "entityName": "tb_auto_test",
      "actualExpression": "ds=20230625",
      "strongRuleAlarmNum": 1,
      "weakRuleAlarmNum": 0
    },
    "ruleChecks": [
      {
        "blockType": 0,
        "warningThreshold": 0.1,
        "property": "id",
        "tableName": "tb_auto_test",
        "comment": "Test a monitoring rule",
        "checkResultStatus": 2,
        "templateName": "Compare the Number of Unique Field Values Against Expectation",
        "checkerName": "fulx",
        "ruleId": 123421,
        "fixedCheck": false,
        "op": "",
        "upperValue": 22200,
        "actualExpression": "ds=20230625",
        "externalId": "123112232",
        "timeCost": "10",
        "trend": "up",
        "externalType": "CWF2",
        "bizDate": 1600704000000,
        "checkResult": 2,
        "matchExpression": "ds=$[yyyymmdd]",
        "checkerType": 0,
        "projectName": "auto_test",
        "beginTime": 1600704000000,
        "dateType": "YMD",
        "criticalThreshold": "0.6",
        "isPrediction": false,
        "ruleName": "Rule name",
        "checkerId": 7,
        "discreteCheck": true,
        "endTime": 1600704000000,
        "MethodName": "max",
        "lowerValue": 2344,
        "entityId": 12142421,
        "whereCondition": "type!='type2'",
        "expectValue": 90,
        "templateId": 5,
        "taskId": "16008552981681a0d6",
        "id": 234241453,
        "open": true,
        "referenceValue": [
          {
            "discreteProperty": "type1",
            "value": 20,
            "bizDate": "1600704000000",
            "singleCheckResult": 2,
            "threshold": 0.2
          }
        ],
        "sampleValue": [
          {
            "discreteProperty": "type2",
            "bizDate": "1600704000000",
            "value": 23
          }
        ]
      }
    ]
  }

  Descrição dos parâmetros

  Parâmetro	Tipo	Exemplo	Descrição
  ProjectName	String	autotest	Nome da instância do mecanismo de computação ou fonte de dados sendo monitorada.
  actualExpression	String	ds=20200925	Partição na tabela da fonte de dados monitorada.
  RuleChecks	Array	—	Lista de resultados de validação.
  BlockType	Integer	1	Força da regra. 1 = Strong rule. 0 = Weak rule. Regras fortes bloqueiam tarefas de agendamento quando o limiar crítico é excedido.
  WarningThreshold	Float	0.1	Limiar de aviso. Indica o desvio permitido em relação ao valor esperado.
  Property	String	type	Coluna na tabela da fonte de dados que a regra verifica.
  TableName	String	dual	Nome da tabela validada.
  Comment	String	—	Descrição da regra de validação.
  CheckResultStatus	Integer	2	Status do resultado da verificação.
  TemplateName	String	Compare number of unique field values against expectation	Nome do modelo de validação.
  CheckerName	String	fulx	Nome do verificador.
  RuleId	Long	123421	ID da regra.
  FixedCheck	Boolean	false	Indica se um valor fixo é usado para a verificação. true: valor fixo. false: sem valor fixo.
  Op	String	>	Operador de comparação.
  UpperValue	Float	22200	Limite superior previsto, gerado automaticamente com base no limiar configurado.
  ActualExpression	String	ds=20200925	Partição real na tabela da fonte de dados que foi verificada.
  ExternalId	String	123112232	ID do nó para a tarefa agendada.
  TimeCost	String	10	Duração da tarefa de verificação.
  Trend	String	up	Tendência dos resultados de monitoramento.
  ExternalType	String	CWF2	Tipo de sistema de mapeamento CDN. Apenas CWF é suportado.
  BizDate	Long	1600704000000	Timestamp dos dados. Para dados offline, geralmente é um dia antes da execução da verificação.
  CheckResult	Integer	2	Resultado da verificação.
  MatchExpression	String	ds=$[yyyymmdd]	Expressão de filtro de partição.
  CheckerType	Integer	0	Tipo do verificador.
  ProjectName	String	autotest	Nome do mecanismo de computação ou fonte de dados para a verificação de qualidade de dados.
  BeginTime	Long	1600704000000	Horário de início da operação de verificação.
  DateType	String	YMD	Tipo de ciclo de agendamento. YMD indica tarefas anuais, mensais e diárias.
  CriticalThreshold	Float	0.6	Limiar crítico. Indica o grau de desvio em relação ao valor esperado. Se uma regra forte exceder esse limiar, as tarefas de agendamento serão bloqueadas.
  IsPrediction	Boolean	false	Indica se o resultado é uma previsão. true: previsão. false: não é previsão.
  RuleName	String	—	Nome da regra.
  CheckerId	Integer	7	ID do verificador.
  DiscreteCheck	Boolean	true	Indica se a validação discreta está ativada. true: discreto. false: não discreto.
  EndTime	Long	1600704000000	Horário de término da consulta de resultados de verificação.
  MethodName	String	max	Método usado para coletar dados de amostra. Valores suportados: avg, count, sum, min, max, count_distinct, user_defined, table_count, table_size, table_dt_load_count, table_dt_refuseload_count, null_value, null_value/table_count, (table_count-count_distinct)/table_count, table_count-count_distinct.
  LowerValue	Float	2344	Limite inferior previsto, gerado automaticamente com base no limiar configurado.
  EntityId	Long	14534343	ID da expressão de filtro de partição.
  WhereCondition	String	type!='type2'	Condição de filtro para a tarefa de validação.
  ExpectValue	Float	90	Valor esperado.
  TemplateId	Integer	5	ID do modelo de validação.
  TaskId	String	16008552981681a0d6****	ID da tarefa de verificação.
  Id	Long	2231123	ID da chave primária.
  ReferenceValue	Array	—	Valores históricos de amostra.
  DiscreteProperty	String	type1	Valores do campo de amostra agrupados por GROUP BY. Por exemplo, agrupar por Gênero retorna Male, Female e null.
  Value	Float	20	Valor da amostra.
  BizDate	String	1600704000000	Timestamp dos dados. Para dados offline, geralmente um dia antes da execução da verificação.
  SingleCheckResult	Integer	2	Resultado da verificação para uma única checagem.
  Threshold	Float	0.2	Valor do limiar.
  SampleValue	Array	—	Valores atuais de amostra.
  Open	Boolean	true	Indica se a regra está ativada.