Mengambil konfigurasi, status, dan informasi eksekusi terbaru dari crawler metadata tertentu.
Deskripsi operasi
Skema Penggunaan
Mengambil konfigurasi, status ketersediaan, dan informasi eksekusi terbaru dari crawler metadata tertentu.
Alur kerja yang direkomendasikan
Panggil
ListCrawlersuntuk mendapatkan ID crawler.Panggil operasi ini untuk mengambil detail crawler.
Untuk mendapatkan riwayat eksekusi lengkap, panggil
ListCrawlerRuns.
Persyaratan Edisi
Diperlukan DataWorks Basic Edition atau yang lebih tinggi.
Perhatian
Jika crawler belum pernah dijalankan, status eksekusi terbaru dan ID instans task mungkin kosong.
Coba sekarang
Test
RAM authorization
Sintaks permintaan
POST HTTP/1.1
Parameter permintaan
|
Parameter |
Type |
Required |
Description |
Example |
| Id |
integer |
Yes |
ID crawler metadata. Anda dapat memanggil ListCrawlers untuk menanyakan ID ini. |
1234 |
Anda dapat memanggil ListCrawlers untuk mendapatkan ID.
Elemen respons
|
Element |
Type |
Description |
Example |
|
object |
Tanggapan. |
||
| RequestId |
string |
ID permintaan. Digunakan untuk melacak log dan troubleshooting masalah. |
9252F32F-D855-549E-8898-61CF5A733050 |
| Success |
boolean |
Menunjukkan apakah permintaan berhasil. |
|
| Crawler |
object |
Detail crawler metadata. |
|
| Id |
integer |
ID crawler. |
1234 |
| Name |
string |
Nama crawler. |
example_crawler |
| DataSourceId |
integer |
ID sumber data. |
12345 |
| Type |
string |
Tipe crawler. |
starrocks |
| Status |
string |
Status crawler. Nilainya adalah VALID jika konfigurasi crawler valid dan sumber data terkait ada. Jika tidak, nilainya adalah INVALID. |
VALID |
| MetaEntityId |
string |
ID entitas meta yang terkait dengan crawler, yang dapat digunakan untuk menghubungkan ke API kueri metadata. |
starrocks:example-instance |
| ProjectId |
integer |
ID ruang kerja DataWorks. |
100 |
| EnvType |
string |
Tipe lingkungan DataWorks. Nilai yang valid: Dev, Prod. |
Prod |
| ResourceGroupId |
string |
ID kelompok sumber daya Serverless 2.0 yang digunakan untuk menjalankan task pengumpulan. |
Serverless_res_group_1234567890123456_1234567890 |
| ScheduleConfig |
object |
Konfigurasi penjadwalan. |
|
| Type |
string |
NORMAL |
|
| CronExpress |
string |
0 0 2 ? * * |
|
| LastRunStatus |
string |
Status eksekusi terbaru. Nilai yang valid: WAITING, RUNNING, SUCCESS, ERROR, SHUTDOWN. Nilai ini mungkin kosong jika crawler belum pernah dijalankan. |
SUCCESS |
| Owner |
string |
ID pengguna DataWorks dari pemilik crawler. |
1000 |
| CreateTime |
integer |
Waktu pembuatan, dalam stempel waktu UNIX tingkat milidetik. |
1710239005403 |
| ModifyTime |
integer |
Waktu modifikasi, dalam stempel waktu UNIX tingkat milidetik. |
1710239005403 |
| Scope |
object |
Konfigurasi cakupan pengumpulan. |
|
| Unit |
string |
DATABASE |
|
| Items |
array |
||
|
string |
example_database |
||
| ExcludeRegex |
string |
^tmp_.* |
|
| EnableAiComment |
boolean |
Menunjukkan apakah deskripsi metadata AI diaktifkan. |
|
| Options |
object |
Konfigurasi tambahan untuk tipe crawler. |
|
|
string |
Nilai dari satu item konfigurasi tambahan untuk crawler. |
true |
|
| LastRunTaskInstanceId |
integer |
ID instans task DataWorks yang terkait dengan eksekusi terbaru. Nilai ini mungkin kosong jika crawler belum pernah dijalankan. |
1234 |
| TaskId |
integer |
ID task penjadwalan DataWorks yang terkait dengan crawler, yang dapat digunakan untuk memanggil GetTask guna menanyakan definisi task. |
1234 |
Objek Crawler mengembalikan konfigurasi crawler, status ketersediaan, dan informasi eksekusi terbaru.
Contoh
Respons sukses
JSONformat
{
"RequestId": "9252F32F-D855-549E-8898-61CF5A733050",
"Success": false,
"Crawler": {
"Id": 1234,
"Name": "example_crawler",
"DataSourceId": 12345,
"Type": "starrocks",
"Status": "VALID",
"MetaEntityId": "starrocks:example-instance",
"ProjectId": 100,
"EnvType": "Prod",
"ResourceGroupId": "Serverless_res_group_1234567890123456_1234567890",
"ScheduleConfig": {
"Type": "NORMAL",
"CronExpress": "0 0 2 ? * *"
},
"LastRunStatus": "SUCCESS",
"Owner": "1000",
"CreateTime": 1710239005403,
"ModifyTime": 1710239005403,
"Scope": {
"Unit": "DATABASE",
"Items": [
"example_database"
],
"ExcludeRegex": "^tmp_.*"
},
"EnableAiComment": false,
"Options": {
"key": "true"
},
"LastRunTaskInstanceId": 1234,
"TaskId": 1234
}
}
Kode kesalahan
Lihat Error Codes untuk daftar lengkap.
Catatan rilis
Lihat Release Notes untuk daftar lengkap.