ListDataQualityScans - DataWorks - Alibaba Cloud Documentation Center

Mengkueri daftar tugas pemindaian kualitas data dalam sebuah proyek.

Deskripsi operasi

DataWorks Basic Edition or a higher edition is required.

Coba sekarang

Coba API ini di OpenAPI Explorer tanpa perlu penandatanganan manual. Panggilan yang berhasil akan secara otomatis menghasilkan contoh kode SDK sesuai dengan parameter Anda. Unduh kode tersebut dengan kredensial bawaan yang aman untuk penggunaan lokal.

Test

RAM authorization

Tabel berikut menjelaskan otorisasi yang diperlukan untuk memanggil API ini. Anda dapat menentukannya dalam kebijakan Resource Access Management (RAM). Kolom pada tabel dijelaskan sebagai berikut:

Action: Aksi yang dapat digunakan dalam elemen Action pada pernyataan kebijakan izin RAM untuk memberikan izin guna melakukan operasi tersebut.
API: API yang dapat Anda panggil untuk melakukan aksi tersebut.
Access level: Tingkat akses yang telah ditentukan untuk setiap API. Nilai yang valid: create, list, get, update, dan delete.
Resource type: Jenis resource yang mendukung otorisasi untuk melakukan aksi tersebut. Ini menunjukkan apakah aksi tersebut mendukung izin tingkat resource. Resource yang ditentukan harus kompatibel dengan aksi tersebut. Jika tidak, kebijakan tersebut tidak akan berlaku.
- Untuk API dengan izin tingkat resource, jenis resource yang diperlukan ditandai dengan tanda bintang (*). Tentukan Nama Sumber Daya Alibaba Cloud (ARN) yang sesuai dalam elemen Resource pada kebijakan.
- Untuk API tanpa izin tingkat resource, ditampilkan sebagai All Resources. Gunakan tanda bintang (*) dalam elemen Resource pada kebijakan.
Condition key: Kunci kondisi yang didefinisikan oleh layanan. Kunci ini memungkinkan kontrol granular, berlaku baik hanya untuk aksi maupun untuk aksi yang terkait dengan resource tertentu. Selain kunci kondisi spesifik layanan, Alibaba Cloud menyediakan serangkaian common condition keys yang berlaku di semua layanan yang didukung RAM.
Dependent action: Aksi dependen yang diperlukan untuk menjalankan aksi tersebut. Untuk menyelesaikan aksi tersebut, pengguna RAM atau role RAM harus memiliki izin untuk melakukan semua aksi dependen.

Action

Access level

Resource type

Condition key

Dependent action

dataworks:ListDataQualityScans

list

*All Resource

*

None

Sintaks permintaan

GET  HTTP/1.1

Parameter permintaan

Parameter	Type	Required	Description	Example
Name	string	No	Nama tugas pemindaian kualitas data untuk pencocokan kabur.	test
SortBy	string	No	Daftar bidang pengurutan. Mendukung bidang seperti pengatur waktu modifikasi terakhir dan pengatur waktu pembuatan. Format: "SortField+SortOrder (Desc/Asc)", dengan Asc sebagai nilai default. Nilai valid: ModifyTime (Desc/Asc) CreateTime (Desc/Asc) Id (Desc/Asc)	ModifyTime Desc
PageSize	integer	Yes	Jumlah entri per halaman. Nilai default: 10.	10
PageNumber	integer	Yes	Nomor halaman. Nilai default: 1.	1
ProjectId	integer	Yes	ID proyek.	10000
Table	string	No	Pencocokan kabur untuk nama tabel yang dipantau.	video_album

Elemen respons

Element	Type	Description	Example
	object	Schema of Response
RequestId	string	The API request ID, which is generated as a UUID.	0bc14115***159376359
PageInfo	object	The page information.
PageNumber	integer	The page number.	1
PageSize	integer	The number of records per page. Default value: 10.	10
TotalCount	integer	The total number of records returned.	1
DataQualityScans	array<object>	The list of data quality monitors.
	array<object>	Information about the data quality monitor.
ModifyTime	integer	Last update time of the data quality monitor.	17236236472
Owner	string	The user ID of the owner responsible for the data quality monitor.	23782382795249
Description	string	The description of the data quality scan task. Maximum length: 65,535 characters.	This is a hourly run data quality evaluation plan.
ModifyUser	string	The user ID of the last person who updated the data quality monitor.	23782382795249
Parameters	array<object>	Execution parameter definitions for the data quality monitor.
	object	Execution parameter definitions for the data quality monitor.
Value	string	The parameter value.	$[yyyy-mm-dd-1]
Name	string	The parameter name.	dt
CreateTime	integer	The creation time of the data quality monitor.	1694512304000
ProjectId	integer	The project ID.	59094
CreateUser	string	The creator of the data quality monitor.	7892346529452
ComputeResource	object	The compute engine used during execution. If it is not specified, the data source connection defined in the Spec will be used.
Runtime	object	Additional runtime settings for the data quality monitor.
HiveConf	string	Additional parameters for the Hive engine. Currently, only mapreduce.job.queuename is supported to set the queue.	mapreduce.job.queuename=dq_queue
SparkConf	string	Additional parameters for the Spark engine. Currently, only spark.yarn.queue is supported to set the queue.	spark.yarn.queue=dq_queue
Engine	string	The engine type. These settings are only supported for the EMR compute engine. Valid values: Hive: Hive SQL Spark: Spark SQL Kyuubi	Hive
EnvType	string	Workspace environment of the compute engine. Valid values: Prod Dev	Prod
Name	string	The name of the computing engine. Uniquely identifies the engine.	emr_cluster_001
Name	string	The name of the data quality scan task. Can include digits, letters, Chinese characters, and both half-width and full-width punctuation marks. Maximum length: 255 characters.	Hourly partition quality monitoring
RuntimeResource	object	The resource group used during the execution of the data quality monitor.
Cu	number	CU consumption for task running.	0.25
Id	string	The ID of the resource group.	Serverless_resource_group_xxxxx
Image	string	The ID of the image configured for task running.	i-xxxxx
Trigger	object	Trigger settings for the data quality monitor.
Type	string	The trigger mode of the data quality monitor. Valid values: ByManual: Manually triggered. Default setting. BySchedule: Triggered by a scheduled task instance.	BySchedule
TaskIds	array	If the trigger mode is BySchedule, the ID of the scheduling task that triggers the monitor must be configured.
	integer	The scheduling task ID.	1023777390
Hooks	array<object>	The hook configuration after the data quality monitor stops.
	object	The hook configuration after the data quality monitor stops.
Condition	string	The hook trigger condition. When this condition is met, the hook is triggered. Valid expression format: Specifies multiple combinations of rule severity levels and rule validation statuses, such as `results.any { r -> r.status == 'Fail' && r.rule.severity == 'Normal' \|\| r.status == 'Error' && r.rule.severity == 'High' \|\| r.status == 'Warn' && r.rule.severity == 'High' }`. This means the hook is triggered if any executed rule has Fail with Normal severity, Error with High severity, or Warn with High severity. The severity values must match those defined in the Spec. The status values must match those in DataQualityResult.	results.any { r -> r.status == 'Fail' && r.rule.severity == 'Normal' \|\| r.status == 'Error' && r.rule.severity == 'High' \|\| r.status == 'Warn' && r.rule.severity == 'High' }
Type	string	The type of the hook. Valid values: BlockTaskInstance: Blocks the scheduling of the task instance.	BlockTaskInstance
Id	integer	The ID of the data quality monitor.	26433

Contoh

Respons sukses

JSONformat

{
  "RequestId": "0bc14115***159376359",
  "PageInfo": {
    "PageNumber": 1,
    "PageSize": 10,
    "TotalCount": 1,
    "DataQualityScans": [
      {
        "ModifyTime": 17236236472,
        "Owner": "23782382795249",
        "Description": "This is a hourly run data quality evaluation plan.",
        "ModifyUser": "23782382795249",
        "Parameters": [
          {
            "Value": "$[yyyy-mm-dd-1]",
            "Name": "dt"
          }
        ],
        "CreateTime": 1694512304000,
        "ProjectId": 59094,
        "CreateUser": "7892346529452",
        "ComputeResource": {
          "Runtime": {
            "HiveConf": "mapreduce.job.queuename=dq_queue",
            "SparkConf": "spark.yarn.queue=dq_queue",
            "Engine": "Hive"
          },
          "EnvType": "Prod",
          "Name": "emr_cluster_001"
        },
        "Name": "Hourly partition quality monitoring",
        "RuntimeResource": {
          "Cu": 0.25,
          "Id": "Serverless_resource_group_xxxxx",
          "Image": "i-xxxxx"
        },
        "Trigger": {
          "Type": "BySchedule",
          "TaskIds": [
            1023777390
          ]
        },
        "Hooks": [
          {
            "Condition": "results.any { r -> r.status == 'Fail' && r.rule.severity == 'Normal' || r.status == 'Error' && r.rule.severity == 'High' || r.status == 'Warn' && r.rule.severity == 'High' }",
            "Type": "BlockTaskInstance"
          }
        ],
        "Id": 26433
      }
    ]
  }
}

Kode kesalahan

Lihat Error Codes untuk daftar lengkap.

Catatan rilis

Lihat Release Notes untuk daftar lengkap.