ListDataQualityRules - DataWorks - Alibaba Cloud Documentation Center

Mengkueri aturan pemantauan kualitas secara berhalaman.

Catatan

API ini telah ditinggalkan. Kami merekomendasikan migrasi ke dataworks-public(2024-05-18) - ListDataQualityScans guna memperoleh fungsionalitas yang lebih baik dan dukungan berkelanjutan. Meskipun API yang telah ditinggalkan ini masih dapat diakses sementara, tidak akan ada pembaruan atau perbaikan bug lebih lanjut.

Deskripsi operasi

Anda harus membeli DataWorks Edisi Dasar atau edisi yang lebih tinggi untuk menggunakan fitur ini.

Coba sekarang

Coba API ini di OpenAPI Explorer tanpa perlu penandatanganan manual. Panggilan yang berhasil akan secara otomatis menghasilkan contoh kode SDK sesuai dengan parameter Anda. Unduh kode tersebut dengan kredensial bawaan yang aman untuk penggunaan lokal.

Test

RAM authorization

Tabel berikut menjelaskan otorisasi yang diperlukan untuk memanggil API ini. Anda dapat menentukannya dalam kebijakan Resource Access Management (RAM). Kolom pada tabel dijelaskan sebagai berikut:

Action: Aksi yang dapat digunakan dalam elemen Action pada pernyataan kebijakan izin RAM untuk memberikan izin guna melakukan operasi tersebut.
API: API yang dapat Anda panggil untuk melakukan aksi tersebut.
Access level: Tingkat akses yang telah ditentukan untuk setiap API. Nilai yang valid: create, list, get, update, dan delete.
Resource type: Jenis resource yang mendukung otorisasi untuk melakukan aksi tersebut. Ini menunjukkan apakah aksi tersebut mendukung izin tingkat resource. Resource yang ditentukan harus kompatibel dengan aksi tersebut. Jika tidak, kebijakan tersebut tidak akan berlaku.
- Untuk API dengan izin tingkat resource, jenis resource yang diperlukan ditandai dengan tanda bintang (*). Tentukan Nama Sumber Daya Alibaba Cloud (ARN) yang sesuai dalam elemen Resource pada kebijakan.
- Untuk API tanpa izin tingkat resource, ditampilkan sebagai All Resources. Gunakan tanda bintang (*) dalam elemen Resource pada kebijakan.
Condition key: Kunci kondisi yang didefinisikan oleh layanan. Kunci ini memungkinkan kontrol granular, berlaku baik hanya untuk aksi maupun untuk aksi yang terkait dengan resource tertentu. Selain kunci kondisi spesifik layanan, Alibaba Cloud menyediakan serangkaian common condition keys yang berlaku di semua layanan yang didukung RAM.
Dependent action: Aksi dependen yang diperlukan untuk menjalankan aksi tersebut. Untuk menyelesaikan aksi tersebut, pengguna RAM atau role RAM harus memiliki izin untuk melakukan semua aksi dependen.

Action

Access level

Resource type

Condition key

Dependent action

dataworks:*

list

*Semua Sumber daya.

*

None

Parameter permintaan

Parameter	Type	Required	Description	Example
ProjectId	integer	Yes	ID ruang kerja DataWorks.	10002
DataQualityEvaluationTaskId	integer	No	ID tugas pemeriksaan kualitas yang terkait.	10000
TableGuid	string	No	Pengenal unik tabel yang menjadi target aturan di Peta Data DataWorks.	odps.unit_test.tb_unit_test
Name	string	No	Nama aturan untuk pencocokan kabur.	unit_test
PageSize	integer	No	Jumlah entri per halaman. Nilai default: 10. Nilai maksimum: 200.	10
PageNumber	integer	Yes	Nomor halaman untuk paginasi. Nilai default: 1.	1

Elemen respons

Element	Type	Description	Example
	object	Parameter tanggapan.
RequestId	string	ID permintaan yang digunakan untuk melacak panggilan lengkap dan memecahkan masalah.	691CA452-D37A-4ED0-9441
PagingInfo	object	Hasil kueri berhalaman dari daftar aturan.
PageNumber	integer	Nomor halaman.	1
PageSize	integer	Ukuran halaman.	10
TotalCount	integer	Jumlah total entri.	294
DataQualityRules	array<object>	Daftar aturan.
	array<object>
Id	integer	ID Aturan.	22130
Name	string	Nama aturan.	The table cannot be empty.
ProjectId	integer	ID workspace DataWorks.	100001
Enabled	boolean	Apakah aturan kualitas data diaktifkan.	true
Severity	string	Tingkat keparahan aturan untuk bisnis (sesuai dengan aturan kuat/lemah di halaman). Nilai enumerasi yang valid: Normal High	High
Description	string	Deskripsi aturan. Panjang maksimum: 500 karakter.	this is a odps _sql task
Target	object	Objek yang dipantau oleh aturan.
Type	string	Tipe objek yang dipantau. Table	Table
DatabaseType	string	Untuk dataset bertipe tabel, tipe database tempat tabel tersebut berada. maxcompute emr cdh hologres analyticdb_for_postgresql analyticdb_for_mysql starrocks	maxcompute
TableGuid	string	ID unik dari tabel tempat aturan diterapkan di Data Map.	odps.unit_test.tb_unit_test
TemplateCode	string	Pengidentifikasi unik dari template aturan yang direferensikan oleh aturan.	SYSTEM:user_defined_sql
SamplingConfig	object	Pengaturan yang diperlukan untuk pengumpulan sampel.
Metric	string	Nama metrik pengambilan sampel. Count: jumlah baris tabel. Min: nilai minimum dari field. Max: nilai maksimum dari field. Avg: nilai rata-rata dari field. DistinctCount: jumlah nilai distinct dari field. DistinctPercent: rasio jumlah nilai distinct dari field terhadap jumlah baris data. DuplicatedCount: jumlah nilai duplikat dari field. DuplicatedPercent: rasio jumlah nilai duplikat dari field terhadap jumlah baris data. TableSize: ukuran tabel. NullValueCount: jumlah baris yang nilai field-nya null. NullValuePercent: persentase baris yang nilai field-nya null. GroupCount: setiap nilai dan jumlah baris data yang sesuai setelah agregasi berdasarkan nilai field. CountNotIn: jumlah baris yang nilai enumerasinya tidak cocok. CountDistinctNotIn: jumlah nilai distinct yang nilai enumerasinya tidak cocok. UserDefinedSql: pengumpulan sampel melalui SQL kustom.	Max
MetricParameters	string	Parameter yang diperlukan selama pengumpulan sampel.	{ "Columns": [ "id", "name" ] , "SQL": "select count(1) from table;"}
SettingConfig	string	Pernyataan pengaturan parameter runtime yang disisipkan dan dijalankan sebelum pernyataan pengambilan sampel benar-benar dijalankan. Panjang maksimum: 1.000 karakter. Saat ini hanya MaxCompute yang didukung.	SET odps.sql.udf.timeout=600s; SET odps.sql.python.version=cp27;
SamplingFilter	string	Kondisi untuk pemfilteran sekunder data yang tidak menjadi perhatian selama pengambilan sampel. Panjang maksimum: 16.777.215 karakter.	id IS NULL
CheckingConfig	object	Pengaturan validasi sampel.
Type	string	Metode perhitungan ambang batas. Fixed Fluctation FluctationDiscreate Auto Average Variance	Fixed
ReferencedSamplesFilter	string	Beberapa tipe ambang batas memerlukan kueri terhadap beberapa sampel referensi, lalu mengagregasi nilai sampel referensi tersebut untuk mendapatkan ambang batas yang akan dibandingkan. Sebuah ekspresi digunakan di sini untuk merepresentasikan metode kueri terhadap sampel referensi.	{ "bizdate": [ "-1", "-7", "-1m" ] }
Thresholds	object	Pengaturan ambang batas.
Expected	object	Pengaturan ambang batas yang diharapkan.
Operator	string	Operator perbandingan. > >= < <= != =	>
Value	string	Nilai ambang batas.	100.0
Expression	string	Ekspresi ambang batas. Aturan tipe tingkat fluktuasi harus menggunakan metode ekspresi untuk menunjukkan ambang batas fluktuasi. Contoh: Kenaikan fluktuasi lebih besar dari 0,01: $checkValue > 0.01 Penurunan fluktuasi lebih besar dari 0,01: $checkValue < -0.01 Nilai absolut dari tingkat fluktuasi: abs($checkValue) > 0.01 Aturan tipe nilai tetap juga dapat mengonfigurasi ambang batas menggunakan ekspresi. Jika keduanya dikonfigurasi, ekspresi diutamakan daripada Operator dan Value.	$checkValue > 0.01
Warned	object	Pengaturan ambang batas untuk peringatan normal.
Operator	string	Operator perbandingan. > >= < <= != =	>
Value	string	Nilai ambang batas.	100.0
Expression	string	Ekspresi ambang batas. Aturan tipe tingkat fluktuasi harus menggunakan metode ekspresi untuk menunjukkan ambang batas fluktuasi. Contoh: Kenaikan fluktuasi lebih besar dari 0,01: $checkValue > 0.01 Penurunan fluktuasi lebih besar dari 0,01: $checkValue < -0.01 Nilai absolut dari tingkat fluktuasi: abs($checkValue) > 0.01 Aturan tipe nilai tetap juga dapat mengonfigurasi ambang batas menggunakan ekspresi. Jika keduanya dikonfigurasi, ekspresi diutamakan daripada Operator dan Value.	$checkValue > 0.01
Critical	object	Pengaturan ambang batas untuk peringatan kritis.
Operator	string	Operator perbandingan. > >= < <= != =	>
Value	string	Nilai ambang batas.	100.0
Expression	string	Ekspresi ambang batas. Aturan tipe tingkat fluktuasi harus menggunakan metode ekspresi untuk menunjukkan ambang batas fluktuasi. Contoh: Kenaikan fluktuasi lebih besar dari 0,01: $checkValue > 0.01 Penurunan fluktuasi lebih besar dari 0,01: $checkValue < -0.01 Nilai absolut dari tingkat fluktuasi: abs($checkValue) > 0.01 Aturan tipe nilai tetap juga dapat mengonfigurasi ambang batas menggunakan ekspresi. Jika keduanya dikonfigurasi, ekspresi diutamakan daripada Operator dan Value.	$checkValue > 0.01
ErrorHandlers	array<object>	Daftar penangan masalah untuk validasi aturan kualitas data.
	object	Penangan masalah untuk validasi aturan kualitas data.
Type	string	Tipe penangan: SaveErrorData	SaveErrorData
ErrorDataFilter	string	Untuk aturan SQL kustom, pengguna perlu menentukan SQL untuk memfilter data bermasalah.	SELECT * FROM tb_api_log WHERE id IS NULL

Contoh

Respons sukses

JSONformat

{
  "RequestId": "691CA452-D37A-4ED0-9441",
  "PagingInfo": {
    "PageNumber": 1,
    "PageSize": 10,
    "TotalCount": 294,
    "DataQualityRules": [
      {
        "Id": 22130,
        "Name": "The table cannot be empty.",
        "ProjectId": 100001,
        "Enabled": true,
        "Severity": "High",
        "Description": "this is a odps _sql task",
        "Target": {
          "Type": "Table",
          "DatabaseType": "maxcompute",
          "TableGuid": "odps.unit_test.tb_unit_test"
        },
        "TemplateCode": "SYSTEM:user_defined_sql",
        "SamplingConfig": {
          "Metric": "Max",
          "MetricParameters": "{ \"Columns\": [ \"id\", \"name\" ] , \"SQL\": \"select count(1) from table;\"}",
          "SettingConfig": "SET odps.sql.udf.timeout=600s; \nSET odps.sql.python.version=cp27;",
          "SamplingFilter": "id IS NULL"
        },
        "CheckingConfig": {
          "Type": "Fixed",
          "ReferencedSamplesFilter": "{ \"bizdate\": [ \"-1\", \"-7\", \"-1m\" ] }",
          "Thresholds": {
            "Expected": {
              "Operator": ">",
              "Value": "100.0",
              "Expression": "$checkValue > 0.01"
            },
            "Warned": {
              "Operator": ">",
              "Value": "100.0",
              "Expression": "$checkValue > 0.01"
            },
            "Critical": {
              "Operator": ">",
              "Value": "100.0",
              "Expression": "$checkValue > 0.01"
            }
          }
        },
        "ErrorHandlers": [
          {
            "Type": "SaveErrorData\n",
            "ErrorDataFilter": "SELECT * FROM tb_api_log WHERE id IS NULL"
          }
        ]
      }
    ]
  }
}

Kode kesalahan

Lihat Error Codes untuk daftar lengkap.

Catatan rilis

Lihat Release Notes untuk daftar lengkap.