大数据开发治理平台 DataWorks：数据推送节点

原理介绍

数据推送节点，可以通过节点上下文参数获取上游节点的输出参数，将输出参数以占位符等形式在推送正文中进行编辑并推送至目标。数据推送节点能够获取输出参数的上游节点类型为：包含SQL查询的节点、赋值节点。

• SQL查询节点完成查询后，生成参数名为outputs的节点输出参数，该参数可以将SQL查询节点中查询结果或输出结果传递至下游节点。配置节点上下文参数详情请参见配置节点上下文。

• 在数据推送节点中编辑推送内容时，若期望通过Markdown组件来展示待推送的数据内容，此时可以在Markdown正文中使用${参数名}的格式，添加和引用上游节点的输出参数。

• 在数据推送节点中编辑推送内容时，若期望通过表格组件来展示待推送的数据内容，此时可以在表格组件的关联参数中选择上游节点的SQL查询字段名，以获取数据结果。

前提条件

• 请确保已开通DataWorks服务，详情请参见开通DataWorks服务。

• 请确保已创建DataWorks空间，详情请参见创建工作空间。

• 请确保在DataWorks空间内，已创建业务流程。

• 请确保已拥有Serverless资源组，仅支持Serverless资源组执行该节点任务，如需购买使用Serverless资源组，详情请参见新增和使用Serverless资源组。

• 请确保已为资源组开启公网访问能力，详情请参见：网络连通方案。

使用限制

• 数据推送功能推送至不同对象时的数据大小限制：

  • 推送目标为钉钉，推送数据大小不超过20KB。

  • 推送目标为飞书，推送数据大小不超过20KB，图片小于10MB。

  • 推送目标为企业微信，每个机器人发送的消息不能超过20条/分钟。

  • 推送目标为Teams，推送大小不大于28KB。

  • 推送目标为邮件，每个数据推送任务仅支持添加一个邮件正文，若已添加邮件正文，则无法再次添加，更多限制可参考所使用邮件服务的SMTP限制。

• 仅以下地域的DataWorks工作空间可使用数据推送功能：华东1（杭州）、华东2（上海）、华北2（北京）、华南1（深圳）、西南1（成都）、中国香港、新加坡、马来西亚（吉隆坡）、美国（硅谷）、美国（弗吉尼亚）、德国（法兰克福）。

1. 新建数据推送节点的上游节点

数据推送节点，需要从上游节点生成上下文参数中的输出参数，再将其推送出去，所以在新建数据推送节点前，必须确保上游已拥有查询节点或赋值节点。

2. 新建数据推送节点

1. 双击已新建的业务流程，进入业务流程的画布页面，单击新建数据推送节点。

   配置项	配置内容
   节点类型	下拉框选中数据推送。
   路径	选择与步骤一新建的节点放置在同一路径下。
   名称	根据业务需求自定义数据推送节点名称。

2. 双击已创建的数据推送节点，进入数据推送节点编辑页面。

3. 单击调度配置，在调度依赖 > 依赖的上游节点根据节点名称单击添加，将其步骤一创建的节点添加为数据推送节点的上游节点。

4. 在调度配置面板内，在资源属性 > 调度资源组选择数据推送节点功能上线日期（2024年6月28日）后创建的Serverless资源组，若资源组为发布日期前创建，则需提工单升级调度资源组。

5. 在调度配置面板内，节点上下文参数 > 本节点输入参数后，再单击添加，将步骤一新建的查询节点的输出参数作为取值来源添加为数据推送节点的输入参数，然后关闭调度配置面板。

6. 在数据推送编辑页面内配置数据推送的目标、标题以及正文内容。

   1. 下拉数据推送目标选择所需的数据推送目标，若不存在，可单击下拉框右下角的创建数据推送目标，新建推送目标。

      参数	说明
      类型	支持钉钉、飞书、企业微信、Teams以及邮件。
      对象名称	可按业务需求进行自定义。
      WebHook	钉钉、飞书、企业微信机器人或Teams的Webhook，以及邮件的SMTP需要在相应的目标平台上获取。 说明 飞书机器人Webhook获取方式可参见：飞书Webhook触发器配置。 Teams Webhook获取方式可参见：使用 Microsoft Teams 工作流创建传入 Webhook。

      推送目标管理：

      1. 登录DataWorks控制台，切换至目标地域后，单击左侧导航栏的数据分析与服务 > 数据服务，在下拉框中选择对应工作空间后单击进入数据服务。

      2. 在服务开发页面的左下角单击弹出设置页面，切换至推送目标管理页签，单击创建数据推送目标新建需要推送的目标，并对已创建的目标进行管理，详情可参见创建Webhook数据推送目标。

   2. 标题：按业务需求进行自定义。

   3. 正文：可添加Markdown与表格，与数据推送服务功能一致，具体请参见配置推送内容。

      说明

      • 当上游节点是SQL查询节点时。

        • 数据推送正文中的Markdown可以直接使用SQL查询的字段名作为占位符${字段名}，获取上游输出的参数。

        • 数据推送正文中的表格，可通过上游SQL查询的字段名作为关联参数获取数据

      • 当上游节点是赋值节点时，数据推送正文中需要使用数据推送节点的本节点输入参数的参数名作为占位符${本节点输入参数名}，获取上游输出的参数。

7. 单击保存数据推送节点。

3. 调试运行任务与发布

在完成数据推送流程配置后，双击业务流程，进入业务流程画布页面，测试业务流程是否能正常运行，测试成功后，即可提交发布任务。

1. 在数据推送流程画布编辑页面，单击，运行业务流程。

2. 待数据推送流程中的所有节点后出现，单击提交运行成功的数据推送流程。

3. 选择提交对话框中需要提交的节点，勾选忽略输入输出不一致的告警。

4. 单击提交。

5. 提交成功后，即可在发布页面发布流程节点，详情可参见发布任务。

最佳实践

数据推送节点在业务流程中，可以进行简单推送、合并推送、脚本推送、条件推送和MaxCompute等多种用法，详情请参见最佳实践：数据开发工作流中配置数据推送节点。

后续步骤

数据推送任务发布成功，可在运维页面对任务进行运维操作，详情可参见周期任务基本运维操作。