CreateCrawler - 创建元数据采集器 - 大数据开发治理平台 DataWorks

创建一个元数据采集器，并配置数据源、采集范围、资源组和调度方式。

接口说明

使用场景

为指定数据源创建元数据采集器，并配置采集范围、资源组、调度方式和扩展配置。

版本要求

需要购买 DataWorks 基础版及以上版本才能使用。

注意事项

创建成功仅表示采集器配置已生成，不会立即执行元数据采集。

调试

您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。

调试

授权信息

下表是API对应的授权信息，可以在RAM权限策略语句的Action元素中使用，用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下：

操作：是指具体的权限点。
访问级别：是指每个操作的访问级别，取值为写入（Write）、读取（Read）或列出（List）。
资源类型：是指操作中支持授权的资源类型。具体说明如下：
- 对于必选的资源类型，用前面加 * 表示。
- 对于不支持资源级授权的操作，用全部资源表示。
条件关键字：是指云产品自身定义的条件关键字。
关联操作：是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限，操作才能成功。

操作

访问级别

资源类型

条件关键字

关联操作

dataworks:CreateCrawler

create

*全部资源

*

无

请求语法

POST  HTTP/1.1

请求参数

名称	类型	必填	描述	示例值
Name	string	是	元数据采集器名称，长度不超过 128 个字符。	example_crawler
DataSourceId	integer	是	采集器关联的数据源 ID。数据源需要已绑定 DataWorks 工作空间，且数据源类型与 Type 匹配。	12345
Type	string	是	采集器类型。可调用 GetCrawlerTypeCapabilities 查询当前地域支持的取值。	starrocks
ResourceGroupId	string	否	运行采集任务使用的 Serverless 2.0 资源组 ID。是否需要填写以 GetCrawlerTypeCapabilities 返回的 RequireResourceGroup 为准。	Serverless_res_group_1234567890123456_1234567890
Scope	object	否	采集范围配置。未传入时，使用 GetCrawlerTypeCapabilities 返回的 DefaultScopeUnit。
Unit	string	是	采集范围粒度。可选值以 GetCrawlerTypeCapabilities 返回的 SupportedScopeUnits 为准。	DATABASE
Items	array	否	数据库名称列表。仅当 Unit 为 DATABASE 时支持填写，最多 1000 个，名称不能为空或重复。
	string	否	单个数据库名称，长度不超过 256 个字符。	example_database
ExcludeRegex	string	否	采集范围排除正则表达式。仅当 GetCrawlerTypeCapabilities 返回的 SupportExcludeRegex 为 true 时支持。	^tmp_.*
ScheduleConfig	object	否	调度配置。未传入时使用手动调度。
Type	string	是	调度类型。MANUAL 表示手动运行，NORMAL 表示周期调度。开发环境数据源仅支持 MANUAL；NORMAL 是否可用以 GetCrawlerTypeCapabilities 返回的 SupportSchedule 为准。	NORMAL
CronExpress	string	否	周期调度的六段式 Cron 表达式。Type 为 NORMAL 时必填；秒位必须为 0，调度频率不得高于每小时一次。	0 0 2 ? * *
EnableAiComment	boolean	否	是否启用 AI 元数据描述。仅当 GetCrawlerTypeCapabilities 返回的 SupportAiComment 为 true 时支持。
Options	object	否	采集器类型的扩展配置。键名、值类型、必填性、默认值和可选值以 GetCrawlerTypeCapabilities 返回的 SupportedOptionKeys 为准。
	string	否	单个采集器扩展配置项的值。支持的配置项、值类型和取值范围以 GetCrawlerTypeCapabilities 返回的 SupportedOptionKeys 为准。	v1

DataSourceId 需要与 Type 匹配。ResourceGroupId、Scope、ScheduleConfig、EnableAiComment 和 Options 的支持情况以 GetCrawlerTypeCapabilities 为准。

返回参数

名称	类型	描述	示例值
	object	返回结果。
RequestId	string	请求 ID。用于定位日志，排查问题。	9252F32F-D855-549E-8898-61CF5A733050
Success	boolean	请求是否成功。
Id	integer	新创建的元数据采集器 ID。	1234

Id 为新创建的元数据采集器 ID。返回成功不表示已完成元数据采集。

示例

正常返回示例

JSON格式

{
  "RequestId": "9252F32F-D855-549E-8898-61CF5A733050",
  "Success": true,
  "Id": 1234
}

错误码

访问错误中心查看更多错误码。

变更历史

更多信息，参考变更详情。

大数据开发治理平台 DataWorks：CreateCrawler - 创建元数据采集器