Valida a qualidade de uma fonte de dados em relação às regras de validação e retorna os resultados da validação.
Esta API foi descontinuada. Recomendamos migrar para dataworks-public(2024-05-18) - ListDataQualityScanRuns para funcionalidade aprimorada e suporte contínuo. Embora a API descontinuada permaneça temporariamente acessível, nenhuma atualização ou correção de bugs será fornecida.
Experimente agora
Testar
Autorização RAM
Parâmetros da solicitação
|
Parâmetro |
Tipo |
Obrigatório |
Descrição |
Exemplo |
| RuleId |
integer |
Sim |
O ID da regra de monitoramento. Você pode usar o ID da regra e um filtro de partição para consultar os resultados de monitoramento da regra. |
152322134 |
| StartDate |
string |
Sim |
O início do intervalo de datas de negócio a ser consultado. Especifique a hora no formato yyyy-MM-dd HH:mm:ss.\n\n\n\nVocê deve configurar este parâmetro junto com o parâmetro EndDate. O intervalo de datas de negócio a ser consultado não pode exceder 7 dias. |
2020-09-20 00:00:00 |
| EndDate |
string |
Sim |
O fim do intervalo de datas de negócio a ser consultado. Especifique a hora no formato yyyy-MM-dd HH:mm:ss.\n\n\n\nVocê deve configurar este parâmetro junto com o parâmetro StartDate. O intervalo de datas de negócio a ser consultado não pode exceder 7 dias. |
2020-09-22 00:00:00 |
| PageSize |
integer |
Sim |
O número de entradas por página. Valor padrão: 10. Valor máximo: 20. |
10 |
| PageNumber |
integer |
Sim |
O número da página. |
1 |
| ProjectName |
string |
Sim |
O nome do mecanismo de computação ou fonte de dados para o qual você deseja realizar o monitoramento da qualidade dos dados. |
autotest |
| ProjectId |
integer |
Sim |
O ID do workspace do DataWorks. |
123456 |
Elementos de resposta
|
Elemento |
Tipo |
Descrição |
Exemplo |
|
object |
O resultado da verificação. |
||
| HttpStatusCode |
integer |
O código de status HTTP. |
200 |
| ErrorMessage |
string |
A mensagem de erro. |
You have no permission. |
| RequestId |
string |
O ID da solicitação. |
CBA58543-00D4-41**** |
| ErrorCode |
string |
O código de erro. |
401 |
| Success |
boolean |
Indica se a solicitação foi bem-sucedida. |
true |
| Data |
object |
O objeto de nível superior do resultado da verificação. |
|
| PageNumber |
integer |
O número da página. |
1 |
| PageSize |
integer |
O número de entradas por página. Valor padrão: 10. Valor máximo: 100. |
10 |
| TotalCount |
integer |
O número total de registros. |
200 |
| RuleChecks |
array<object> |
Uma lista de resultados de verificação. |
|
|
array<object> |
Um resultado de verificação. |
||
| BlockType |
integer |
A força da regra de monitoramento. Uma regra forte pode bloquear uma tarefa de agendamento downstream se um alerta crítico for acionado. Valores válidos:\n\n- 1: Regra forte.\n\n- 0: Regra fraca. |
1 |
| WarningThreshold |
number |
O limite personalizado para um alerta de aviso. Um alerta é acionado se o desvio em relação ao valor esperado exceder esse limite. |
0.1 |
| Property |
string |
A coluna na tabela de dados de origem que a regra verifica. |
type |
| TableName |
string |
O nome da tabela que está sendo verificada. |
dual |
| Comment |
string |
A descrição da regra de monitoramento. |
The description of the rule. |
| CheckResultStatus |
integer |
O status do resultado da verificação. |
2 |
| TemplateName |
string |
O nome do modelo de regra. |
Expected value verification |
| CheckerName |
string |
O nome do verificador. |
fulx |
| RuleId |
integer |
O ID da regra. |
123421 |
| FixedCheck |
boolean |
Indica se uma verificação de valor fixo é usada. Valores válidos:\n\n- true: Uma verificação de valor fixo é usada.\n\n- false: Uma verificação de valor fixo não é usada. |
false |
| Op |
string |
O operador de comparação. |
> |
| UpperValue |
number |
O limite superior previsto, que é gerado automaticamente com base no limite configurado. |
22200 |
| ActualExpression |
string |
A partição de dados real que foi verificada. |
ds=20200925 |
| ExternalId |
string |
O ID do nó da tarefa de agendamento. |
123112232 |
| TimeCost |
string |
A duração da verificação. |
10 |
| Trend |
string |
A tendência do resultado da verificação. |
up |
| ExternalType |
string |
O tipo do sistema de agendamento. Atualmente, apenas o CWF é suportado. |
CWF2 |
| BizDate |
integer |
A data de negócio. Para uma tabela offline, geralmente é o dia anterior à realização da verificação. |
1600704000000 |
| CheckResult |
integer |
O resultado da verificação. |
2 |
| ResultString |
string |
A representação em string do resultado da verificação. |
ResultString |
| MatchExpression |
string |
A expressão de filtro de partição. |
ds=$[yyyymmdd] |
| CheckerType |
integer |
O tipo do verificador. |
0 |
| ProjectName |
string |
O nome do mecanismo ou fonte de dados usado para a verificação de qualidade. |
autotest |
| BeginTime |
integer |
A hora de início da verificação. |
1600704000000 |
| DateType |
string |
O ciclo de agendamento. Por exemplo, YMD pode representar tarefas anuais, mensais e diárias. |
YMD |
| CriticalThreshold |
number |
O limite para um alerta crítico, representando o desvio em relação ao valor de amostra esperado. Você pode personalizar esse limite com base nos requisitos de negócio. Se uma regra forte for usada e esse limite crítico for acionado, a tarefa agendada será bloqueada. |
0.6 |
| IsPrediction |
boolean |
Indica se o resultado é uma previsão. Valores válidos:\n\n- true: O resultado é uma previsão.\n\n- false: O resultado não é uma previsão. |
false |
| RuleName |
string |
O nome da regra. |
The name of the rule. |
| CheckerId |
integer |
O ID do verificador. |
7 |
| DiscreteCheck |
boolean |
Indica se uma verificação de valor discreto é usada. Valores válidos:\n\n- true: Uma verificação de valor discreto é usada.\n\n- false: Uma verificação de valor discreto não é usada. |
true |
| EndTime |
integer |
A hora de fim para consulta dos resultados da verificação. |
1600704000000 |
| MethodName |
string |
O método usado para coletar dados de amostra. Exemplos: avg, count, sum, min, max, count_distinct, user_defined, table_count, table_size, table_dt_load_count, table_dt_refuseload_count, null_value, null_value/table_count, (table_count-count_distinct)/table_count e table_count-count_distinct. |
max |
| LowerValue |
number |
O limite inferior previsto, que é gerado automaticamente com base no limite configurado. |
2344 |
| EntityId |
integer |
O ID da expressão de filtro de partição. |
14534343 |
| WhereCondition |
string |
A condição de filtro para a verificação. |
type!='type2' |
| ExpectValue |
number |
O valor esperado. |
90 |
| TemplateId |
integer |
O ID do modelo de regra. |
5 |
| TaskId |
string |
O ID da tarefa de verificação. |
16008552981681a0d6**** |
| Id |
integer |
O ID da chave primária. |
2231123 |
| ReferenceValue |
array<object> |
Os valores de amostra históricos. |
|
|
object |
Uma amostra histórica. |
||
| DiscreteProperty |
string |
O valor da coluna de amostra após ser agrupado pela cláusula GROUP BY. Por exemplo, se você agrupar por uma coluna de gênero, os valores deste parâmetro podem ser 'male', 'female' ou null. |
type1 |
| Value |
number |
O valor da amostra. |
20 |
| BizDate |
string |
A data de negócio. Para uma tabela offline, geralmente é o dia anterior à realização da verificação. |
1600704000000 |
| SingleCheckResult |
integer |
O resultado da verificação como uma string. |
2 |
| Threshold |
number |
O limite. |
0.2 |
| SampleValue |
array<object> |
Os valores de amostra atuais. |
|
|
object |
Uma amostra atual. |
||
| DiscreteProperty |
string |
O valor da coluna de amostra após ser agrupado pela cláusula GROUP BY. Por exemplo, se você agrupar por uma coluna de gênero, os valores deste parâmetro podem ser 'male', 'female' ou null. |
type2 |
| BizDate |
string |
A data de negócio. Para uma tabela offline, geralmente é o dia anterior à realização da verificação. |
1600704000000 |
| Value |
number |
O valor da amostra. |
23 |
| Open |
boolean |
Indica se a regra está ativada. |
true |
Exemplos
Resposta de sucesso
JSON formato
{
"HttpStatusCode": 200,
"ErrorMessage": "You have no permission.",
"RequestId": "CBA58543-00D4-41****",
"ErrorCode": "401",
"Success": true,
"Data": {
"PageNumber": 1,
"PageSize": 10,
"TotalCount": 200,
"RuleChecks": [
{
"BlockType": 1,
"WarningThreshold": 0.1,
"Property": "type",
"TableName": "dual",
"Comment": "The description of the rule.",
"CheckResultStatus": 2,
"TemplateName": "Expected value verification",
"CheckerName": "fulx",
"RuleId": 123421,
"FixedCheck": false,
"Op": ">",
"UpperValue": 22200,
"ActualExpression": "ds=20200925",
"ExternalId": "123112232",
"TimeCost": "10",
"Trend": "up",
"ExternalType": "CWF2",
"BizDate": 1600704000000,
"CheckResult": 2,
"ResultString": "ResultString",
"MatchExpression": "ds=$[yyyymmdd]",
"CheckerType": 0,
"ProjectName": "autotest",
"BeginTime": 1600704000000,
"DateType": "YMD",
"CriticalThreshold": 0.6,
"IsPrediction": false,
"RuleName": "The name of the rule.",
"CheckerId": 7,
"DiscreteCheck": true,
"EndTime": 1600704000000,
"MethodName": "max",
"LowerValue": 2344,
"EntityId": 14534343,
"WhereCondition": "type!='type2'",
"ExpectValue": 90,
"TemplateId": 5,
"TaskId": "16008552981681a0d6****",
"Id": 2231123,
"ReferenceValue": [
{
"DiscreteProperty": "type1",
"Value": 20,
"BizDate": "1600704000000",
"SingleCheckResult": 2,
"Threshold": 0.2
}
],
"SampleValue": [
{
"DiscreteProperty": "type2",
"BizDate": "1600704000000",
"Value": 23
}
],
"Open": true
}
]
}
}Códigos de erro
Consulte Códigos de Erro para uma lista completa.
Notas de versão
Consulte Notas de Versão para uma lista completa.