分頁查詢中繼資料採集器,並可按工作空間、資料來源、類型、環境、負責人和名稱篩選。
介面說明
使用場景
分頁查詢有權存取的中繼資料採集器,並可按工作空間、資料來源、採集器類型、環境、負責人和名稱篩選。
推薦流程
按需組合篩選條件查詢採集器清單。
使用返回的採集器 ID 呼叫詳情、更新、執行、停止、執行記錄或刪除介面。
版本要求
需要購買 DataWorks 基礎版及以上版本才能使用。
注意事項
多個篩選條件同時提供時組合生效,名稱支援模糊比對。
調試
您可以在OpenAPI Explorer中直接運行該介面,免去您計算簽名的困擾。運行成功後,OpenAPI Explorer可以自動產生SDK程式碼範例。
調試
授權資訊
|
操作 |
存取層級 |
資源類型 |
條件關鍵字 |
關聯操作 |
|
dataworks:ListCrawlers |
list |
*全部資源。
|
無 | 無 |
請求文法
POST HTTP/1.1
請求參數
|
名稱 |
類型 |
必填 |
描述 |
樣本值 |
| ProjectId |
integer |
否 |
DataWorks 工作空間 ID。 |
100 |
| DataSourceIds |
array |
否 |
資料來源 ID 清單,最多支援 10 個。 |
|
|
integer |
否 |
單一資料來源 ID。 |
12345 |
|
| Type |
string |
否 |
採集器類型。可呼叫 GetCrawlerTypeCapabilities 查詢目前地域支援的取值。 |
starrocks |
| EnvType |
string |
否 |
DataWorks 環境類型。Dev 表示開發環境,Prod 表示生產環境。 |
Prod |
| Owner |
string |
否 |
採集器負責人的 DataWorks 使用者 ID。 |
1000 |
| Name |
string |
否 |
中繼資料採集器名稱,支援模糊查詢。 |
example_crawler |
| PageNumber |
integer |
否 |
分頁頁碼,從 1 開始,預設值為 1。 |
1 |
| PageSize |
integer |
否 |
每頁項目數,預設值為 20,最大值為 100。 |
20 |
多個篩選條件同時提供時組合成效;DataSourceIds 最多支援 10 個。
返回參數
|
名稱 |
類型 |
描述 |
樣本值 |
|
object |
返回結果。 |
||
| RequestId |
string |
請求 ID。用於定位日誌,排查問題。 |
9252F32F-D855-549E-8898-61CF5A733050 |
| Success |
boolean |
請求是否成功。 |
|
| PagingInfo |
object |
分頁資訊。 |
|
| TotalCount |
integer |
符合查詢條件的記錄總數。 |
1 |
| PageNumber |
integer |
目前頁碼。 |
1 |
| PageSize |
integer |
每頁項目數。 |
20 |
| Crawlers |
array<object> |
中繼資料採集器清單。 |
|
|
array<object> |
中繼資料採集器概要資訊。 |
||
| Id |
integer |
採集器 ID。 |
1234 |
| Name |
string |
採集器名稱。 |
example_crawler |
| DataSourceId |
integer |
資料來源 ID。 |
12345 |
| Type |
string |
採集器類型。 |
starrocks |
| Status |
string |
採集器狀態。採集器設定有效且關聯資料來源存在時為 VALID,否則為 INVALID。 |
VALID |
| MetaEntityId |
string |
採集器關聯的中繼實體 ID,可用於銜接中繼資料查詢 API。 |
starrocks:example-instance |
| ProjectId |
integer |
DataWorks 工作空間 ID。 |
100 |
| EnvType |
string |
DataWorks 環境類型。取值:Dev、Prod。 |
Prod |
| ResourceGroupId |
string |
執行採集任務使用的 Serverless 2.0 資源群組 ID。 |
Serverless_res_group_1234567890123456_1234567890 |
| ScheduleConfig |
object |
排程設定。 |
|
| Type |
string |
排程類型。取值:MANUAL、NORMAL。 |
NORMAL |
| CronExpress |
string |
Cron 運算式。 |
0 0 2 ? * * |
| LastRunStatus |
string |
最近一次執行狀態。取值:WAITING、RUNNING、SUCCESS、ERROR、SHUTDOWN。採集器尚未執行時可能為空。 |
SUCCESS |
| Owner |
string |
採集器負責人的 DataWorks 使用者 ID。 |
1000 |
| CreateTime |
integer |
建立時間,毫秒級 Unix 時間戳記。 |
1710239005403 |
| ModifyTime |
integer |
修改時間,毫秒級 Unix 時間戳記。 |
1710239005403 |
| TaskId |
integer |
採集器關聯的 DataWorks 排程任務 ID,可用於呼叫 GetTask 查詢任務定義。 |
1234 |
Crawlers 返回目前頁中繼資料採集器概要資訊。
樣本
正常返回樣本
JSON格式
{
"RequestId": "9252F32F-D855-549E-8898-61CF5A733050",
"Success": false,
"PagingInfo": {
"TotalCount": 1,
"PageNumber": 1,
"PageSize": 20,
"Crawlers": [
{
"Id": 1234,
"Name": "example_crawler",
"DataSourceId": 12345,
"Type": "starrocks",
"Status": "VALID",
"MetaEntityId": "starrocks:example-instance",
"ProjectId": 100,
"EnvType": "Prod",
"ResourceGroupId": "Serverless_res_group_1234567890123456_1234567890",
"ScheduleConfig": {
"Type": "NORMAL",
"CronExpress": "0 0 2 ? * *"
},
"LastRunStatus": "SUCCESS",
"Owner": "1000",
"CreateTime": 1710239005403,
"ModifyTime": 1710239005403,
"TaskId": 1234
}
]
}
}
錯誤碼
訪問錯誤中心查看更多錯誤碼。
變更歷史
更多資訊,參考變更詳情。