全部产品
Search
文档中心

大数据开发治理平台 DataWorks:GetIDEEventDetail - 查询触发扩展点事件时的数据快照

更新时间:May 23, 2024

根据DataWorks开放消息的消息ID,查询触发扩展点事件时的扩展点数据快照。

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

授权信息

下表是API对应的授权信息,可以在RAM权限策略语句的Action元素中使用,用来给RAM用户或RAM角色授予调用此API的权限。具体说明如下:

  • 操作:是指具体的权限点。
  • 访问级别:是指每个操作的访问级别,取值为写入(Write)、读取(Read)或列出(List)。
  • 资源类型:是指操作中支持授权的资源类型。具体说明如下:
    • 对于必选的资源类型,用背景高亮的方式表示。
    • 对于不支持资源级授权的操作,用全部资源表示。
  • 条件关键字:是指云产品自身定义的条件关键字。
  • 关联操作:是指成功执行操作所需要的其他权限。操作者必须同时具备关联操作的权限,操作才能成功。
操作访问级别资源类型条件关键字关联操作
dataworks:*Read
  • 全部资源
    *

请求参数

名称类型必填描述示例值
MessageIdstring

DataWorks 开放消息的消息 ID。当触发扩展点事件后,您可以从接收到的事件消息中获取消息 ID。

8abcb91f-d266-4073-b907-2ed670378ed1
ProjectIdlong

DataWorks 工作空间的 ID,您可以通过解析 DataWorks 开放消息获取空间 ID。

10000

返回参数

名称类型描述示例值
object

返回结果。

RequestIdstring

请求的唯一标识,用于后续错误排查使用。

8abcb91f-d266-4073-b907-2ed670378ed1
EventDetailobject

触发扩展点事件时的数据快照。

不同类型的消息事件,数据快照的有效字段存在差异,具体请参考各消息事件的字段说明。

FileExecutionCommandobject

文件代码执行时的快照,当 Message 类型为 IDE_FILE_EXECUTE_BEFORE 时有效。

FileIdlong

文件的 ID。

1234123
DataSourceNamestring

文件关联的数据源唯一标识。

odps_source
Contentstring

生成本次文件版本的文件代码。

SHOW TABLES;
FileTypelong

文件类型。不同文件类型其代码不同,常用的代码及其表示的类型包括 6(Shell)、10(ODPS SQL)、11(ODPS MR)、23(数据集成)、24(ODPS Script)、99(虚拟节点)、221(PyODPS 2)、225(ODPS Spark)、227(EMR Hive)、228(EMR Spark)、229(EMR Spark SQL)、230(EMR MR)、239(OSS 对象检查)、257(EMR Shell)、258(EMR Spark Shell)、259(EMR Presto)、260(EMR Impala)、900(实时同步)、1089(跨租户节点)、1091(Hologres 开发)、1093(Hologres SQL)、1100(赋值节点)、1221(PyODPS 3)。

10
DeletedFileobject

删除文件时的快照信息,当 Message 类型为 IDE_FILE_DELETE_BEFORE 时有效。

Ownerstring

文件责任人。

7384234****
FileTypelong

文件类型。不同文件类型其代码不同,常用的代码及其表示的类型包括 6(Shell)、10(ODPS SQL)、11(ODPS MR)、23(数据集成)、24(ODPS Script)、99(虚拟节点)、221(PyODPS 2)、225(ODPS Spark)、227(EMR Hive)、228(EMR Spark)、229(EMR Spark SQL)、230(EMR MR)、239(OSS 对象检查)、257(EMR Shell)、258(EMR Spark Shell)、259(EMR Presto)、260(EMR Impala)、900(实时同步)、1089(跨租户节点)、1091(Hologres 开发)、1093(Hologres SQL)、1100(赋值节点)、1221(PyODPS 3)。

10
CurrentVersionlong

当前文件的最新版本。

1
BusinessIdlong

文件所属的业务流程 ID。

74328
FileNamestring

文件名称。

hello_dataworks.sql
DataSourceNamestring

文件关联的数据源唯一标识。

odps_source
UseTypestring

文件所属的功能模块。取值如下:

  • NORMAL:数据开发
  • MANUAL:手动任务
  • MANUAL_BIZ:手动业务流程
  • SKIP:数据开发的空跑调度
  • ADHOCQUERY:临时查询
  • COMPONENT:组件管理
NORMAL
FolderIdstring

文件所属的文件夹 ID,您可以调用 GetFolder 接口,通过文件夹 ID 查询文件详情。

aldurie78l2falure
ParentFileIdlong

文件所属的循环节点或遍历节点的节点 ID。

1234122
Contentstring

生成本次文件版本的文件代码。

SHOW TABLES;
NodeIdlong

调度节点的 ID。

421429
FileIdlong

文件的 ID。

1234123
CommittedFileobject

文件提交和发布时的快照。

仅当 Message 类型为 IDE_FILE_SUBMIT_BEFORE 或 IDE_FILE_DEPLOY_BEFORE 时有效。

FileIdlong

文件的 ID。

1234123
Contentstring

生成本次文件版本的文件代码。

SHOW TABLES;
Committorstring

生成本次文件版本的阿里云用户 ID。

7384234****
FileTypelong

文件类型。不同文件类型其代码不同,常用的代码及其表示的类型包括 6(Shell)、10(ODPS SQL)、11(ODPS MR)、23(数据集成)、24(ODPS Script)、99(虚拟节点)、221(PyODPS 2)、225(ODPS Spark)、227(EMR Hive)、228(EMR Spark)、229(EMR Spark SQL)、230(EMR MR)、239(OSS 对象检查)、257(EMR Shell)、258(EMR Spark Shell)、259(EMR Presto)、260(EMR Impala)、900(实时同步)、1089(跨租户节点)、1091(Hologres 开发)、1093(Hologres SQL)、1100(赋值节点)、1221(PyODPS 3)。

10
ChangeTypestring

本次文件版本的变更类型,包括 CREATE、UPDATE 和 DELETE。

UPDATE
FileNamestring

文件名称。

hello_dataworks.sql
NodeIdlong

调度节点的 ID。

421429
Commentstring

本次文件版本的说明。

第二次版本提交
UseTypestring

文件所属的功能模块。取值如下:

  • NORMAL:数据开发
  • MANUAL:手动任务
  • MANUAL_BIZ:手动业务流程
  • SKIP:数据开发的空跑调度
  • ADHOCQUERY:临时查询
  • COMPONENT:组件管理
NORMAL
FilePropertyContentobject

文件的更多属性。

DataSourceNamestring

文件关联的数据源唯一标识。

odps_source
ParentFileIdlong

文件所属的循环节点或遍历节点的节点 ID。

1234122
BusinessIdlong

文件所属的业务流程 ID。

74328
CurrentVersionlong

当前文件的最新版本。

1
Ownerstring

文件责任人。

7384234****
FolderIdstring

文件所属的文件夹 ID,您可以调用 GetFolder 接口,通过文件夹 ID 查询文件详情。

aldurie78l2falure
NodeConfigurationobject

文件的调度属性配置。

RerunModestring

重跑属性。取值如下:

  • ALL_ALLOWED:运行成功或失败后皆可重跑。
  • FAILURE_ALLOWED:运行成功后不可重跑,运行失败后可以重跑。
  • ALL_DENIED:运行成功或失败皆不可重跑。

该参数与 DataWorks 控制台中,数据开发任务的“调度配置>时间属性>重跑属性”配置内容对应。

ALL_ALLOWED
SchedulerTypestring

调度的类型,取值如下:

  • NORMAL:正常调度任务。
  • MANUAL:手动任务,不会被日常调度,对应手动业务流程下的节点。
  • PAUSE:暂停任务。
  • SKIP:空跑任务,被日常调度,但启动调度时直接被置为成功。
NORMAL
ParaValuestring

调度参数。

该参数与 DataWorks 控制台中,数据开发任务的“调度配置>参数”对应。您可以参考调度参数配置。

a=x b=y
CycleTypestring

调度周期的类型,包括 NOT_DAY(分钟、小时)和 DAY(日、周、月)。

该参数与 DataWorks 控制台中,数据开发任务的“调度配置>时间属性>调度周期”对应。

DAY
DependentNodeIdListstring

当 DependentType 参数配置为 USER_DEFINE 时,用于设置当前文件具体依赖的节点 ID。依赖多个节点时,使用英文逗号(,)分隔。

该参数与 DataWorks 控制台中,数据开发任务的“调度配置>调度依赖”配置为“上一周期”后,依赖项选择”其他节点“时配置的内容对应。

5,10,15,20
ResourceGroupIdlong

文件发布成任务后,任务执行时使用的资源组。您可以调用 ListResourceGroups 获取工作空间可用的资源组列表。

375827434852437
AutoRerunTimeslong

自动重跑次数。

3
AutoRerunIntervalMillislong

自动重跑间隔毫秒数。

120000
CronExpressstring

调度 Cron 表达式。

00 05 00 * * ?
InputListobject []

文件依赖的上游文件输出。

Inputstring

文件依赖的上游文件的输出名称。

该参数与 DataWorks 控制台中,数据开发任务的“调度配置>调度依赖“选择”同周期“时的”父节点输出名称”对应。

dw_project_root
ParseTypestring

配置文件依赖的方式,取值如下:

  • MANUAL:手动配置。
  • AUTO:自动解析。
MANUAL
OutputListobject []

文件的输出。

该参数与 DataWorks 控制台中,数据开发任务的“调度配置>调度依赖“选择”同周期“时的”本节点的输出名称”对应。

RefTableNamestring

文件的输出值。

该参数与 DataWorks 控制台中,数据开发任务的“调度配置>调度依赖“选择”同周期“时的“本节点的输出表”列的值对应。

ods_user_info_d
Outputstring

文件的输出名称。

该参数与 DataWorks 控制台中,数据开发任务的“调度配置>调度依赖“选择”同周期“时的“本节点的输出名称”列值对应。

dw_project.002_out
DependentTypestring

依赖上一周期的方式。取值如下:

  • SELF:依赖项选择本节点。
  • CHILD:依赖项选择一级子节点。
  • USER_DEFINE:依赖项选择其他节点。
  • NONE:未选择依赖项,即不会依赖上一周期。
USER_DEFINE
TableModelobject

表提交和发布时的快照,当 Message 类型为 IDE_TABLE_SUBMIT_BEFORE 和 IDE_TABLE_DEPLOY_BEFORE 时有效。

Envstring

表所属环境。取值如下:

  • DEV:开发环境。
  • PROD:生产环境。
DEV
LifeCyclelong

表的生命周期。单位为天。

7
TableNamestring

表名称。

tb_hello
DataSourceNamestring

表所属数据源的唯一标识。

odps_source
Columnsobject []

字段列表。

ColumnNamestring

字段名称。

ID
ColumnTypestring

字段类型。

BIGINT
IsPartitionColumnboolean

是否为分区字段,取值如下:

  • true:是分区字段。
  • false:非分区字段。
false
Commentstring

字段备注。

ID
Commentstring

表的备注信息。

新建的一张表。
Locationstring

外部表的 Location 信息。

hdfs://path/to/object

示例

正常返回示例

JSON格式

{
  "RequestId": "8abcb91f-d266-4073-b907-2ed670378ed1",
  "EventDetail": {
    "FileExecutionCommand": {
      "FileId": 1234123,
      "DataSourceName": "odps_source",
      "Content": "SHOW TABLES;",
      "FileType": 10
    },
    "DeletedFile": {
      "Owner": "7384234****",
      "FileType": 10,
      "CurrentVersion": 1,
      "BusinessId": 74328,
      "FileName": "hello_dataworks.sql",
      "DataSourceName": "odps_source",
      "UseType": "NORMAL",
      "FolderId": "aldurie78l2falure",
      "ParentFileId": 1234122,
      "Content": "SHOW TABLES;",
      "NodeId": 421429,
      "FileId": 1234123
    },
    "CommittedFile": {
      "FileId": 1234123,
      "Content": "SHOW TABLES;",
      "Committor": "7384234****",
      "FileType": 10,
      "ChangeType": "UPDATE",
      "FileName": "hello_dataworks.sql",
      "NodeId": 421429,
      "Comment": "第二次版本提交",
      "UseType": "NORMAL",
      "FilePropertyContent": {
        "DataSourceName": "odps_source",
        "ParentFileId": 1234122,
        "BusinessId": 74328,
        "CurrentVersion": 1,
        "Owner": "7384234****",
        "FolderId": "aldurie78l2falure"
      },
      "NodeConfiguration": {
        "RerunMode": "ALL_ALLOWED",
        "SchedulerType": "NORMAL",
        "ParaValue": "a=x b=y",
        "CycleType": "DAY",
        "DependentNodeIdList": "5,10,15,20",
        "ResourceGroupId": 375827434852437,
        "AutoRerunTimes": 3,
        "AutoRerunIntervalMillis": 120000,
        "CronExpress": "00 05 00 * * ?",
        "InputList": [
          {
            "Input": "dw_project_root",
            "ParseType": "MANUAL"
          }
        ],
        "OutputList": [
          {
            "RefTableName": "ods_user_info_d",
            "Output": "dw_project.002_out"
          }
        ],
        "DependentType": "USER_DEFINE"
      }
    },
    "TableModel": {
      "Env": "DEV",
      "LifeCycle": 7,
      "TableName": "tb_hello",
      "DataSourceName": "odps_source",
      "Columns": [
        {
          "ColumnName": "ID",
          "ColumnType": "BIGINT",
          "IsPartitionColumn": false,
          "Comment": "ID"
        }
      ],
      "Comment": "新建的一张表。",
      "Location": "hdfs://path/to/object"
    }
  }
}

错误码

HTTP status code错误码错误信息描述
400InternalError.UserId.MissingAn internal system error occurred. Try again later.系统内部错误,请稍后再试。
403Forbidden.AccessAccess is forbidden. Please first activate DataWorks Enterprise Edition or Flagship Edition.没有权限,请授权
429Throttling.ApiThe request for this resource has exceeded your available limit.对该资源的请求已超过您的可用上限。
429Throttling.SystemThe DataWorks system is busy. Try again later.DataWorks系统繁忙,请稍后再试。
429Throttling.UserYour request is too frequent. Try again later.您的请求过于频繁,请尝试放缓请求速度。
500InternalError.SystemAn internal system error occurred. Try again later.系统内部错误,请稍后再试。

访问错误中心查看更多错误码。

变更历史

变更时间变更内容概要操作
暂无变更历史