Membuat monitor kualitas data.
Deskripsi operasi
Diperlukan DataWorks Basic Edition atau edisi yang lebih tinggi.
Coba sekarang
Test
RAM authorization
Sintaks permintaan
POST HTTP/1.1
Parameter permintaan
|
Parameter |
Type |
Required |
Description |
Example |
| Description |
string |
No |
Deskripsi monitor kualitas data. |
Daily data quality scanning of ods tables. |
| ProjectId |
integer |
No |
ID ruang kerja DataWorks. Anda dapat masuk ke konsol DataWorks dan membuka halaman konfigurasi ruang kerja untuk memperoleh ID ruang kerja. Parameter ini wajib diisi untuk menentukan ruang kerja DataWorks target bagi operasi API ini. |
101 |
| Owner |
string |
No |
ID pengguna yang memiliki monitor kualitas data. |
95279527**** |
| Spec |
string |
No |
Kode Spec untuk konten pemantauan kualitas data. |
{ "datasets": [ { "type": "Table", "dataSource": { "name": "odps_first", "envType": "Prod" }, "tables": [ "ods_d_user_info" ], "filter": "pt = $[yyyymmdd-1]" } ], "rules": [ { "assertion": "row_count > 0" }, { "templateId": "SYSTEM:field:null_value:fixed", "pass": "when = 0", "name": "The id cannot be empty.", "severity": "High", "identity": "a-customized-data-quality-rule-uuid" } ] } |
| Parameters |
array<object> |
No |
Definisi parameter eksekusi untuk pemantauan kualitas data. |
|
|
object |
No |
Definisi parameter eksekusi untuk pemantauan kualitas data. |
||
| Value |
string |
No |
Nilai parameter. |
$[yyyymmdd-1] |
| Name |
string |
No |
Nama parameter. |
triggerTime |
| RuntimeResource |
object |
No |
Grup sumber daya yang digunakan selama eksekusi pemantauan kualitas data. |
|
| Id |
string |
No |
ID grup sumber daya. |
0525242e-d0ee-4bda-bc73-765d82f6a34a |
| Cu |
number |
No |
Jumlah CU default yang dikonfigurasi untuk menjalankan tugas. |
0.25 |
| Image |
string |
No |
ID image yang dikonfigurasi untuk menjalankan tugas. |
i-xxxxxx |
| ComputeResource |
object |
No |
Mesin komputasi yang digunakan saat runtime. Jika tidak ditentukan, sumber data yang didefinisikan dalam Spec akan digunakan. |
|
| Name |
string |
No |
Nama mesin komputasi, yang merupakan pengidentifikasi unik. |
emr_first |
| Runtime |
object |
No |
Pengaturan tambahan untuk pemantauan kualitas data saat runtime. |
|
| Engine |
string |
No |
Jenis mesin komputasi. Hanya mesin komputasi EMR yang mendukung pengaturan ini. Nilai yang valid:
|
Hive |
| SparkConf |
object |
No |
Parameter mesin Spark tambahan. Saat ini, hanya parameter spark.yarn.queue yang didukung. |
spark.yarn.queue=dq_queue |
| HiveConf |
object |
No |
Parameter mesin Hive tambahan. Saat ini, hanya parameter mapreduce.job.queuename yang didukung. |
mapreduce.job.queuename=dq_queue |
| EnvType |
string |
No |
Lingkungan ruang kerja tempat mesin komputasi berada. Nilai yang valid:
|
Dev |
| Trigger |
object |
No |
Konfigurasi pemicu untuk tugas pemantauan kualitas data. |
|
| Type |
string |
No |
Mode pemicu tugas pemantauan. Nilai yang valid:
|
BySchedule |
| TaskIds |
array |
No |
Jika mode pemicu disetel ke BySchedule, ID tugas penjadwalan harus ditentukan. |
|
|
integer |
No |
ID tugas penjadwalan. |
1004979033 |
|
| Hooks |
array<object> |
No |
Konfigurasi Hook setelah eksekusi pemantauan kualitas data berakhir. |
|
|
object |
No |
Konfigurasi Hook setelah eksekusi pemantauan kualitas data berakhir. |
||
| Condition |
string |
No |
Kondisi pemicu Hook. Hook akan dijalankan jika kondisi terpenuhi. Saat ini, hanya satu jenis sintaks ekspresi yang didukung: Anda dapat menentukan beberapa kombinasi level severity aturan dan status validasi menggunakan ekspresi seperti |
results.any { r -> r.status == 'Fail' && r.rule.severity == 'Normal' || r.status == 'Error' && r.rule.severity == 'High' || r.status == 'Warn' && r.rule.severity == 'High' } |
| Type |
string |
No |
Jenis Hook. Nilai yang valid:
|
BlockTaskInstance |
| Name |
string |
No |
Nama pemantauan kualitas data. |
data_quality_scan_001 |
| ClientToken |
string |
Yes |
Token idempotensi. |
a-customized-uuid |
Elemen respons
|
Element |
Type |
Description |
Example |
|
object |
Skema Respons |
||
| RequestId |
string |
Id permintaan |
0000-ABCD-EFG**** |
| Id |
integer |
Mengembalikan ID aturan berbagi sumber data yang dibuat, yang secara unik mengidentifikasi aturan tersebut. |
676303114031776 |
Contoh
Respons sukses
JSONformat
{
"RequestId": "0000-ABCD-EFG****",
"Id": 676303114031776
}
Kode kesalahan
Lihat Error Codes untuk daftar lengkap.
Catatan rilis
Lihat Release Notes untuk daftar lengkap.