CreateDataQualityEvaluationTask - DataWorks - Alibaba Cloud Documentation Center

Membuat pemantau kualitas data DataWorks.

Catatan

API ini telah ditinggalkan. Kami merekomendasikan migrasi ke dataworks-public(2024-05-18) - CreateDataQualityScan guna memperoleh fungsionalitas yang lebih baik dan dukungan berkelanjutan. Meskipun API yang telah ditinggalkan ini masih dapat diakses sementara, tidak akan ada pembaruan atau perbaikan bug lebih lanjut.

Deskripsi operasi

Anda harus membeli DataWorks Edisi Dasar atau edisi yang lebih tinggi untuk menggunakan fitur ini.

Coba sekarang

Coba API ini di OpenAPI Explorer tanpa perlu penandatanganan manual. Panggilan yang berhasil akan secara otomatis menghasilkan contoh kode SDK sesuai dengan parameter Anda. Unduh kode tersebut dengan kredensial bawaan yang aman untuk penggunaan lokal.

Test

RAM authorization

Tidak ada otorisasi untuk operasi ini. Jika Anda mengalami masalah saat menjalankan operasi ini, hubungi dukungan teknis.

Parameter permintaan

Parameter	Type	Required	Description	Example
Target	object	Yes	Objek yang dipantau dari pemantau kualitas data.
DatabaseType	string	Yes	Tipe database tempat tabel berada. Nilai valid: maxcompute hologres cdh analyticdb_for_mysql starrocks emr analyticdb_for_postgresql	maxcompute
TableGuid	string	Yes	ID unik tabel di DataWorks Peta Data.	odps.api_test.ods_openapi_log_d
PartitionSpec	string	No	Pengaturan partisi dari tabel partisi.	pt=$[yyyymmdd-1]
Description	string	No	Deskripsi tugas pemantau kualitas data.	OpenAPI membuat uji pemantauan kualitas data
Name	string	Yes	Nama tugas pemantau kualitas data.	OpenAPI membuat uji pemantauan kualitas data
RuntimeConf	string	No	Konfigurasi tambahan. Nilainya berupa string berformat JSON. Parameter ini hanya berlaku untuk pemantau kualitas data tipe EMR.	{ "queue": "default", "sqlEngine": "SPARK_SQL" }
Trigger	object	No	Konfigurasi pemicu dari tugas pemeriksaan kualitas data.
Type	string	No	Tipe pemicu untuk pemantauan kualitas. Nilai valid: ByManual: pemicu manual. Ini adalah nilai default. ByScheduledTaskInstance: dipicu oleh instans tugas terjadwal yang terkait.	ByScheduledTaskInstance
TaskIds	array	No	Daftar ID tugas penjadwalan. Parameter ini hanya valid jika Type diatur ke ByScheduledTaskInstance.
	integer	No	ID tugas penjadwalan.	30001
ProjectId	integer	Yes	ID ruang kerja DataWorks. Anda dapat masuk ke Konsol DataWorks dan membuka halaman manajemen ruang kerja untuk mendapatkan ID tersebut.	10000
Hooks	array<object>	No	Pengaturan panggilan balik.
	object	No	Panggilan balik.
Type	string	No	Tipe panggilan balik. Saat ini, hanya satu tipe yang didukung:	BlockTaskInstance
Condition	string	No	Kondisi pemicu hook. Ketika kondisi ini terpenuhi, aksi hook akan dipicu. Hanya dua jenis ekspresi kondisional yang didukung: Menentukan satu kombinasi tunggal dari tipe tingkat keparahan aturan dan status pemeriksaan aturan, seperti `${severity} == "High" AND ${status} == "Critical"`. Ini berarti bahwa jika ada aturan yang dieksekusi dengan tingkat keparahan High memiliki hasil pemeriksaan Critical, maka kondisi terpenuhi. Menentukan beberapa kombinasi dari tipe tingkat keparahan aturan dan status pemeriksaan aturan, seperti `(${severity} == "High" AND ${status} == "Critical") OR (${severity} == "Normal" AND ${status} == "Critical") OR (${severity} == "Normal" AND ${status} == "Error")`. Ini berarti bahwa kondisi terpenuhi jika ada aturan yang dieksekusi dengan tingkat keparahan High memiliki hasil pemeriksaan Critical, atau ada aturan dengan tingkat keparahan Normal memiliki hasil pemeriksaan Critical, atau ada aturan dengan tingkat keparahan Normal memiliki hasil pemeriksaan Error. Nilai enumerasi severity dalam ekspresi kondisional konsisten dengan nilai enumerasi severity di DataQualityRule, dan nilai enumerasi status konsisten dengan nilai enumerasi status di DataQualityResult.	(${severity} == "High" AND ${status} == "Critical") OR (${severity} == "Normal" AND ${status} == "Critical") OR (${severity} == "Normal" AND ${status} == "Error")
Notifications	object	No	Konfigurasi langganan notifikasi.
Condition	string	No	Kondisi pemicu notifikasi. Ketika kondisi ini terpenuhi, notifikasi paket akan dipicu. Saat ini, hanya dua jenis ekspresi kondisional yang didukung: Menentukan satu kombinasi tunggal dari tipe tingkat keparahan aturan dan status pemeriksaan aturan, seperti `${severity} == "High" AND ${status} == "Critical"`. Ini berarti bahwa di antara aturan yang dieksekusi, jika sebuah aturan dengan tingkat keparahan High memiliki hasil pemeriksaan Critical, maka kondisi terpenuhi. Menentukan beberapa kombinasi dari tipe tingkat keparahan aturan dan status pemeriksaan aturan, seperti `(${severity} == "High" AND ${status} == "Critical") OR (${severity} == "Normal" AND ${status} == "Critical") OR (${severity} == "Normal" AND ${status} == "Error")`. Ini berarti bahwa di antara aturan yang dieksekusi, jika sebuah aturan dengan tingkat keparahan High memiliki hasil pemeriksaan Critical, atau sebuah aturan dengan tingkat keparahan Normal memiliki hasil pemeriksaan Critical, atau sebuah aturan dengan tingkat keparahan Normal memiliki hasil pemeriksaan Error, maka kondisi terpenuhi. Nilai enumerasi untuk severity dalam ekspresi kondisional konsisten dengan enumerasi severity dalam DataQualityRule, dan nilai enumerasi untuk status konsisten dengan enumerasi status dalam DataQualityResult.	(${severity} == "High" AND ${status} == "Critical") OR (${severity} == "Normal" AND ${status} == "Critical") OR (${severity} == "Normal" AND ${status} == "Error")
Notifications	array<object>	No	Pengaturan notifikasi.
	array<object>	No	Pengaturan notifikasi.
NotificationReceivers	array<object>	No	Pengaturan penerima peringatan.
	object	No	Pengaturan penerima peringatan.
ReceiverType	string	No	The type of the alert recipient. Valid values: WebhookUrl: a custom webhook URL. FeishuUrl: a Lark (Feishu) alert URL. DingdingUrl: a DingTalk alert URL. WeixinUrl: a WeCom (Enterprise WeChat) alert URL. AliUid: an Alibaba Cloud user ID.	DingdingUrl
Extension	string	No	Additional parameters used when sending alerts, in JSON format. Supported keys: atAll: whether to mention all members (@all) in the group when sending a DingTalk alert. This key takes effect when ReceiverType is set to DingdingUrl.	{ "atAll": true }
ReceiverValues	array	No	The alert recipients.
	string	No	The value of the recipient. When the recipient type is AliUid, the value is a specific Alibaba Cloud user ID. When the recipient type is DingdingUrl, the value is the alert URL of a specific DingTalk chatbot. When the recipient type is WeixinUrl, the value is the alert URL of a specific WeCom (Enterprise WeChat) chatbot. When the recipient type is FeishuUrl, the value is the alert URL of a specific Lark (Feishu) chatbot. When the recipient type is WebhookUrl, the value is the URL of a specific custom webhook.	https://api.fc.aliyuncs.com/webhook
NotificationChannels	array<object>	No	Metode notifikasi.
	object	No	Metode notifikasi.
Channels	array	No	The notification methods.
	string	No	The alert method. Valid values: Mail: email Sms: text message Phone: phone call Feishu: Lark (Feishu) Weixin: WeChat Dingding: DingTalk Webhook: custom webhook	Mail
DataSourceId	integer	Yes	ID sumber data. Anda dapat memanggil ListDataSources untuk mendapatkan ID sumber data.	1
DataQualityRules	array<object>	No	Daftar aturan kualitas data yang terkait dengan tugas pemantauan kualitas data. Jika DataQualityRule.Id ditentukan, aturan yang sesuai dengan ID tersebut dikaitkan dengan tugas pemantauan kualitas baru. Jika DataQualityRule.Id tidak ditentukan, aturan baru dibuat berdasarkan bidang lainnya dan dikaitkan dengan tugas pemantauan kualitas baru.
	array<object>	No
Name	string	No	Nama aturan kualitas data.	Aturan pengujian OpenAPI
Enabled	boolean	No	Apakah akan mengaktifkan aturan kualitas.	true
Severity	string	No	Tingkat keparahan aturan untuk bisnis (sesuai dengan aturan kuat atau lemah pada halaman). Nilai valid:	High
Description	string	No	Deskripsi aturan kualitas data.	Aturan pengujian OpenAPI
TemplateCode	string	No	Pengidentifikasi unik templat aturan yang direferensikan oleh aturan.	SYSTEM:bidang:null_value:fixed:0
SamplingConfig	object	No	Parameter yang diperlukan untuk pengambilan sampel.
Metric	string	No	Nama metrik pengambilan sampel. Nilai valid: Count: jumlah baris tabel. Min: nilai minimum bidang. Max: nilai maksimum bidang. Avg: nilai rata-rata bidang. DistinctCount: jumlah nilai unik dalam bidang. DistinctPercent: rasio nilai unik dalam bidang terhadap total jumlah baris. DuplicatedCount: jumlah nilai duplikat dalam bidang. DuplicatedPercent: rasio nilai duplikat dalam bidang terhadap total jumlah baris. TableSize: ukuran tabel. NullValueCount: jumlah baris di mana bidang bernilai null. NullValuePercent: rasio baris di mana bidang bernilai null. GroupCount: jumlah baris untuk setiap nilai setelah agregasi berdasarkan nilai bidang. CountNotIn: jumlah baris yang tidak cocok dengan nilai enumerasi. CountDistinctNotIn: jumlah nilai unik yang tidak cocok dengan nilai enumerasi. UserDefinedSql: pengumpulan sampel melalui Pernyataan SQL kustom.	NullValueCount
MetricParameters	string	No	Parameter yang diperlukan untuk pengambilan sampel.	{ "Columns": [ "id", "name" ] , "SQL": "select count(1) from table;"}
SettingConfig	string	No	Pernyataan pengaturan parameter waktu proses yang dieksekusi sebelum pernyataan pengambilan sampel. Panjang maksimum adalah 1.000 karakter. Saat ini, hanya MaxCompute yang didukung.	odps.sql.type.system.odps2=True,odps.sql.hive.compatible=True
SamplingFilter	string	No	Kondisi filter yang digunakan untuk melakukan penyaringan sekunder pada data yang tidak diminati selama pengambilan sampel. Panjang maksimum adalah 16.777.215 karakter.	status != 'Succeeded'
CheckingConfig	object	No	Pengaturan verifikasi sampel.
Type	string	No	Metode perhitungan ambang batas.	Fixed
ReferencedSamplesFilter	string	No	Ekspresi yang menentukan cara mengkueri sampel referensi. Beberapa tipe ambang batas memerlukan pengkuerian sampel referensi lalu mengagregasi nilai sampel referensi untuk menurunkan ambang batas sebagai perbandingan.	{"bizdate": ["-1"]}
Thresholds	object	No	Pengaturan ambang batas verifikasi.
Expected	object	No	The expected threshold settings.
Operator	string	No	The comparison operator. Valid values: > >= < <= != =	=
Value	string	No	The threshold value.	0
Expression	string	No	The threshold expression. Fluctuation-type rules must use expressions to specify the fluctuation threshold. For example: Fluctuation increase greater than 0.01: $checkValue > 0.01 Fluctuation decrease greater than 0.01: $checkValue < -0.01 Absolute fluctuation rate: abs($checkValue) > 0.01 Fixed-value rules can also use expressions to configure thresholds. If both are configured, the expression takes precedence over Operator and Value.	$checkValue > 0.01
Warned	object	No	The threshold settings for the normal warning level.
Operator	string	No	The comparison operator. Valid values: > >= < <= != =	>
Value	string	No	The threshold value.	0.001
Expression	string	No	The threshold expression. Fluctuation-type rules must use expressions to specify the fluctuation threshold. For example: Fluctuation increase greater than 0.01: $checkValue > 0.01 Fluctuation decrease greater than 0.01: $checkValue < -0.01 Absolute fluctuation rate: abs($checkValue) > 0.01 Fixed-value rules can also use expressions to configure thresholds. If both are configured, the expression takes precedence over Operator and Value.	$checkValue > 0.01
Critical	object	No	The threshold settings for the critical warning level.
Operator	string	No	The comparison operator. Valid values: > >= < <= != =	>
Value	string	No	The threshold value.	0.01
Expression	string	No	The threshold expression. Fluctuation-type rules must use expressions to specify the fluctuation threshold. For example: Fluctuation increase greater than 0.01: $checkValue > 0.01 Fluctuation decrease greater than 0.01: $checkValue < -0.01 Absolute fluctuation rate: abs($checkValue) > 0.01 Fixed-value rules can also use expressions to configure thresholds. If both are configured, the expression takes precedence over Operator and Value.	$checkValue > 0.01
ErrorHandlers	array<object>	No	Daftar penanganan error untuk masalah verifikasi aturan kualitas.
	object	No	Penanganan error untuk masalah verifikasi aturan kualitas.
Type	string	No	Tipe penanganan:	SaveErrorData
ErrorDataFilter	string	No	Pernyataan SQL yang ditentukan oleh pengguna untuk memfilter data bermasalah. Ini diperlukan untuk aturan SQL kustom.	SELECT * FROM ods_api_log WHERE status = 'Error';
Id	integer	No	ID aturan.	2176

Elemen respons

Element	Type	Description	Example
	object	Skema respons.
RequestId	string	ID permintaan.	2d9ce-38ef-4923-baf6-391a7e656
Id	integer	ID tugas pemantauan kualitas data yang baru dibuat.	10001

Contoh

Respons sukses

JSONformat

{
  "RequestId": "2d9ce-38ef-4923-baf6-391a7e656",
  "Id": 10001
}

Kode kesalahan

HTTP status code	Error code	Error message	Description
400	IdempotentParameterMismatch	The request uses the same client token as a previous, but non-identical request. Do not reuse a client token with different requests, unless the requests are identical.

Lihat Error Codes untuk daftar lengkap.

Catatan rilis

Lihat Release Notes untuk daftar lengkap.