Mengkueri metadata crawler secara berhalaman, dan mendukung pemfilteran berdasarkan ruang kerja, sumber data, tipe, lingkungan, pemilik, dan nama.
Deskripsi operasi
Skenario.
Coba sekarang
Test
RAM authorization
|
Action |
Access level |
Resource type |
Condition key |
Dependent action |
|
dataworks:ListCrawlers |
list |
*Semua Sumber daya.
|
None | None |
Sintaks permintaan
POST HTTP/1.1
Parameter permintaan
|
Parameter |
Type |
Required |
Description |
Example |
| ProjectId |
integer |
No |
ID ruang kerja DataWorks. |
100 |
| DataSourceIds |
array |
No |
Daftar ID sumber data. Hingga 10 ID didukung. |
|
|
integer |
No |
ID dari satu sumber data. |
12345 |
|
| Type |
string |
No |
Tipe crawler. Panggil GetCrawlerTypeCapabilities untuk mengkueri nilai valid yang didukung di wilayah saat ini. |
starrocks |
| EnvType |
string |
No |
Tipe lingkungan DataWorks. Dev menunjukkan lingkungan pengembangan. Prod menunjukkan lingkungan produksi. |
Prod |
| Owner |
string |
No |
ID pengguna DataWorks dari pemilik crawler. |
1000 |
| Name |
string |
No |
Nama crawler metadata. Mendukung Pencocokan kabur. |
example_crawler |
| PageNumber |
integer |
No |
Nomor halaman. Dimulai dari 1. Nilai default: 1. |
1 |
| PageSize |
integer |
No |
Jumlah entri per halaman. Nilai default: 20. Nilai maksimum: 100. |
20 |
Ketika beberapa kondisi filter diberikan secara bersamaan, kondisi tersebut berlaku secara kombinasi. DataSourceIds mendukung hingga 10 ID.
Elemen respons
|
Element |
Type |
Description |
Example |
|
object |
Hasil tanggapan. |
||
| RequestId |
string |
ID permintaan. Digunakan untuk melacak log dan memecahkan masalah. |
9252F32F-D855-549E-8898-61CF5A733050 |
| Success |
boolean |
Menunjukkan apakah permintaan berhasil. |
|
| PagingInfo |
object |
Informasi paginasi. |
|
| TotalCount |
integer |
Jumlah total rekaman yang cocok dengan kondisi kueri. |
1 |
| PageNumber |
integer |
Nomor halaman saat ini. |
1 |
| PageSize |
integer |
Jumlah entri per halaman. |
20 |
| Crawlers |
array<object> |
Daftar crawler metadata. |
|
|
array<object> |
Informasi ringkasan dari crawler metadata. |
||
| Id |
integer |
The crawler ID. |
1234 |
| Name |
string |
The crawler name. |
example_crawler |
| DataSourceId |
integer |
The data source ID. |
12345 |
| Type |
string |
The crawler type. |
starrocks |
| Status |
string |
The crawler status. Valid values:
|
VALID |
| MetaEntityId |
string |
The meta-entity ID associated with the crawler. You can use this ID to call metadata query API operations. |
starrocks:example-instance |
| ProjectId |
integer |
The DataWorks workspace ID. |
100 |
| EnvType |
string |
The DataWorks environment type. Valid values: Dev, Prod. |
Prod |
| ResourceGroupId |
string |
The ID of the Serverless 2.0 resource group used to run the collection task. |
Serverless_res_group_1234567890123456_1234567890 |
| ScheduleConfig |
object |
The scheduling configuration. |
|
| Type |
string |
The scheduling type. Valid values:
|
NORMAL |
| CronExpress |
string |
The cron expression. |
0 0 2 ? * * |
| LastRunStatus |
string |
The last run status. Valid values: WAITING, RUNNING, SUCCESS, ERROR, SHUTDOWN. This value may be empty if the crawler has not been run. |
SUCCESS |
| Owner |
string |
The DataWorks user ID of the crawler owner. |
1000 |
| CreateTime |
integer |
The creation time, in millisecond-level UNIX timestamp. |
1710239005403 |
| ModifyTime |
integer |
The modification time, in millisecond-level UNIX timestamp. |
1710239005403 |
| TaskId |
integer |
The DataWorks scheduling task ID associated with the crawler. You can use this ID to call GetTask to query the task definition. |
1234 |
Crawlers mengembalikan informasi ringkasan crawler metadata pada halaman saat ini.
Contoh
Respons sukses
JSONformat
{
"RequestId": "9252F32F-D855-549E-8898-61CF5A733050",
"Success": false,
"PagingInfo": {
"TotalCount": 1,
"PageNumber": 1,
"PageSize": 20,
"Crawlers": [
{
"Id": 1234,
"Name": "example_crawler",
"DataSourceId": 12345,
"Type": "starrocks",
"Status": "VALID",
"MetaEntityId": "starrocks:example-instance",
"ProjectId": 100,
"EnvType": "Prod",
"ResourceGroupId": "Serverless_res_group_1234567890123456_1234567890",
"ScheduleConfig": {
"Type": "NORMAL",
"CronExpress": "0 0 2 ? * *"
},
"LastRunStatus": "SUCCESS",
"Owner": "1000",
"CreateTime": 1710239005403,
"ModifyTime": 1710239005403,
"TaskId": 1234
}
]
}
}
Kode kesalahan
Lihat Error Codes untuk daftar lengkap.
Catatan rilis
Lihat Release Notes untuk daftar lengkap.