全部产品
Search
文档中心

大数据开发治理平台 DataWorks:资源组操作及网络连通

更新时间:Aug 10, 2026

在做数据集成同步时,我们需要先了解哪些DataWorks及其网络能力?

做数据集成同步前,您需要非常了解以下信息:

  • 需要同步的数据库所在的VPC,Vswitch,地域(Region)等信息和DataWorks所在地域(Region)情况。

  • 需要同步的数据库和DataWorks是否存在跨账号、跨region等特殊情况。

如果在任务同步时遇到问题,您可以先参考支持的数据源与读写插件,进行自助排查。

如果您在数据源测试连通性时遇到问题,您可以先根据网络连通方案文档,选择对应的解决方案进行排查。

在使用Serverless资源组时,需按照以下流程操作:购买资源组、绑定数据库网络连通的专有网络、评估是否添加路由、数据库白名单配置、资源组绑定所属工作空间。详情请参见使用独享数据集成资源组

同步ECS自建的数据库的数据时,如何保障数据库与DataWorks的网络连通?

如果您需要使用Serverless资源组通过内网同步ECS自建的数据库,您需要为Serverless资源组做相关的网络配置,详情可参见使用独享数据集成资源组,连通方案核心点为:

  • Serverless资源组绑定ECS所在VPC,会自动添加一个路由指向VPC网段(该路由不建议人为删除哦,可能会导致访问其他数据库失败,导致任务报错。)

  • 在数据库白名单列表中添加Serverless资源组绑定的交换机网段。详情请参见:添加白名单

数据库和DataWorks不在同一个地域(Region)下,进行数据同步时如何保障数据库与DataWorks的网络连通?

操作前,您可以先根据网络连通方案文档,选择对应的网络连通解决方案,连通方案核心点为:

如果您使用公网同步跨地域(Region)的数据库,您需要将独享资源组本身的EIP添加到数据库白名单列表中,详情请参见:添加白名单

说明

公网会产生公网流量费,详情可参见公网流量计费

数据库和DataWorks不在同一个阿里云账号下,进行数据同步时如何保障数据库与DataWorks的网络连通?

操作前,您可以先根据网络连通方案文档,选择对应的解决方案进行排查。

  • 如果您使用公网同步跨账号的数据库,您需要将独享资源组本身的EIP添加到数据库白名单列表中,详情请参见:添加白名单

    说明

    公网会产生公网流量费,详情可参见公网流量计费

  • 如果您需要通过内网同步跨账号的数据库,您需要做以下操作:

    1. 两个阿里云账号间的网络需要先使用网络打通工具相关云产品打通,如VPN、高速通道等。

    2. Serverless资源组绑定已经和另一个阿里云账号下网络打通的VPC。

    3. 绑定VPC后,再自定义路由选择“本地IDC”,添加目标数据库IP。

    4. 在数据库添加独享资源组绑定的交换机网段(注意是绑定的交换机网段)详情请参见:添加白名单

访问VPC环境下的数据库测试连通性失败,该如何处理?

  • 如果您使用VPC连接地址添加的数据源:

    1. 请确认您已经为Serverless资源组绑定好数据库所在的VPC。

    2. 已经将Serverless资源组绑定的交换机网段添加至数据库白名单。详情请参见:添加白名单

  • 如果您使用公网地址添加的数据源,使用Serverless资源组测试连通性失败时,请确认您是否已经将资源组绑定的VPC中公网NAT网关的EIP添加至数据库白名单。详情请参见:添加白名单

    说明

    公网会产生公网流量费,详情可参见公网流量计费

数据源连通性有时成功,有时失败,如何处理?

请检查是否使用了公共资源组,公共资源组网络不稳定,建议使用Serverless资源组,以保证连接的稳定性。

通过DataWorks数据集成同步Hologres数据时,如何保障Serverless资源组与Hologres的网络连通?

Serverless资源组需绑定Hologres实例所在的VPC。操作步骤:

  1. 登录DataWorks控制台,在资源组列表中找到目标Serverless资源组。

  2. 单击网络设置,在数据调度和数据集成区域单击新增绑定

  3. 选择Hologres实例所在的专有网络、可用区和交换机,单击确定

  4. 绑定完成后,在数据集成的数据源管理中创建Hologres数据源,单击测试连通性确认显示可连通。

如果资源组已绑定的VPC与Hologres VPC存在网段冲突,先解除冲突VPC的绑定再添加Hologres VPC。绑定VPC会在专有网络中创建弹性网卡并占用额度,请勿删除。

Hologres网络切换的详细操作请参见DataWorks On Hologres网络切换操作引导

DataWorks 连接 Kafka 报错与 advertised.listeners 配置不一致或连通失败,如何排查?

DataWorks 连接 Kafka 出现报错或连通失败时,请按以下顺序逐项排查:

  1. 检查安全组放行范围:确认 Kafka 集群所在 ECS 安全组已放行 DataWorks 资源组绑定的交换机网段(例如 172.17.112.0/20),否则资源组发出的请求会被安全组拦截。

  2. 核对 advertised.listeners 配置:确认 Kafka 集群地址与各 Broker server.properties 文件中 advertised.listeners 配置项指定的地址一致,并确认所有 Broker 均处于正常运行状态。如果客户端拿到的地址与 Broker 实际对外地址不一致,会导致连接建立后仍无法正常通信。

  3. 内网 IP 场景:如果使用内网 IP 连接 Kafka,需确保 DataWorks 资源组绑定的 VPC 能够访问该内网 IP,即两者处于同一 VPC,或已通过路由、云企业网打通。

  4. 公网 IP 场景:如果使用公网 IP 连接 Kafka,需为资源组绑定的 VPC 配置公网 NAT 网关并绑定 EIP,通过公网出口访问 Kafka 集群。

  5. 域名解析场景:如果连接地址使用域名且存在解析问题,需通过 PrivateZone 为对应 VPC 配置内网 DNS 解析,确保域名能够正确解析到 Kafka 集群的内网地址。

已经购买独享资源组,但在数据源测试连通性时或任务执行时找不到该资源组怎么办?

请确认独享资源组已经绑定DataWorks工作空间。详情请参见:使用独享数据集成资源组

如何通过日志查看任务执行在什么资源组类型上?

  • 任务运行在默认的资源组上,日志中会出现如下信息:running in Pipeline[basecommon_ group_xxxxxxxxx]

  • 任务运行在数据集成自定义资源组上,日志中会出现如下信息:running in Pipeline[basecommon_xxxxxxxxx]

  • 任务运行在独享数据集成资源组或Serverless资源组上,日志中会出现如下信息:running in Pipeline[basecommon_S_res_group_xxx]

如何切换任务在调度系统中执行所用的资源组

  • 在生产运维中心切换任务执行使用的调度资源组和数据集成任务执行资源组:在运维中心 > 周期任务运维 > 周期任务页面,勾选需要切换资源组的任务,单击页面底部的修改调度资源组修改数据集成资源组按钮进行批量修改。

  • 在数据开发界面走发布流程修改生产环境任务执行使用的资源组。

    说明

    以下方式修改资源组请记得发布,标准模式下提交操作生效范围是开发环境,发布后操作才会在生产环境周期任务自动调度时生效,发布后您可以在生产运维中心周期任务检查资源组修改是否生效。

    1. 修改任务调度使用的资源组:打开任务节点的调度配置面板,在资源属性区域,单击调度资源组下拉框,选择目标资源组(例如Serverless资源组)。

    2. 修改数据集成任务执行资源组:单击右侧边栏的数据集成资源组配置页签,在Serverless资源组下拉框中选择目标资源组(例如 xiangcui_vpc)。

如何排查自定义调度资源组等待gateway?

登录DataWorks控制台,在左侧导航栏,单击资源组列表,进入自定义资源组页签。 单击任务使用的调度资源后的服务器管理,查看服务器的状态是否停止,或是否被其它任务占用。

如果以上排查无法解决问题,请执行下述命令重启服务。

su - admin /home/admin/alisatasknode/target/alisatasknode/bin/serverctl restart

如何查看资源组对外IP,以便用于加白放行?

如果您使用资源组通过公网同步数据,请在数据库白名单列表中放行资源组的公网出口IP地址。独享数据集成资源组与Serverless资源组的公网出口方式不同,请按资源组类型分别获取:

独享数据集成资源组:公网出口为资源组自带的EIP。在DataWorks控制台资源组页面中的独享资源组页签下,单击数据集成资源组后的详情,复制基本信息中的EIP地址至数据库白名单列表中。

Serverless资源组:资源组本身不提供公网出口,需为资源组绑定的专有网络(VPC)配置公网NAT网关并绑定EIP,通过NAT网关访问公网数据源。在专有网络控制台查看该NAT网关绑定的EIP,并将其添加至数据库白名单列表中。

资源组还有剩余资源,为什么会提示任务资源不足无法启动?

请查看资源组详细信息,通常情况下是因为资源组剩余资源已经不足被新任务使用,比如此时资源组通常会有排队任务。

Serverless资源组最多可以绑定几个VPC?配额用满后如何处理?

每个Serverless资源组最多支持绑定2个专有网络(VPC)。

登录DataWorks控制台,在资源组列表页面找到目标Serverless资源组,单击详情。在资源组详情页的基本信息区域,可绑定专有网络字段显示当前配额使用情况,格式为已绑定X个,剩余Y个

当2个VPC配额已用满(已绑定2个,剩余0个)时,无法再新增绑定。您可以通过以下方式解决:

  • 评估是否可复用已绑定的VPC。将需要连通的数据源部署在已绑定的VPC中,或将数据源所在的VPC与已绑定的VPC通过云企业网(CEN)打通。

  • 通过云企业网(CEN)实现跨VPC网络互通。将已绑定的VPC与目标VPC加入同一个CEN实例,实现网络打通后即可访问目标VPC中的数据源,无需额外占用VPC绑定配额。

VPC绑定在资源组的网络设置中分为数据服务和数据调度两个用途区域,2个VPC的配额为资源组级别的总配额,由两个区域共享。

DataWorks 资源组与 RDS MySQL 在同一 VPC 且已配置白名单仍无法连通,如何处理?

如果 RDS MySQL 实例与 DataWorks 资源组已处于同一专有网络(VPC),并且已在数据库白名单中添加对应网段,任务仍报连通失败,通常是因为任务运行时未选择正确的资源组:任务实际使用的资源组与已完成 VPC 绑定和白名单配置的资源组不是同一个,导致网络配置未生效。

请打开任务节点的调度配置面板,在资源属性区域,将调度资源组(或数据集成资源组配置页签中的Serverless资源组)下拉框明确切换为已绑定该 RDS 实例所在 VPC 并已配置数据库白名单的资源组,然后重新运行任务。

说明

仅在数据开发中调试任务时,只需确保对应数据源的连通性测试通过即可,无需额外关注数据服务模块的连通性。

批量新增数据源上传成功但列表未显示或页面无响应,如何处理?

批量新增数据源时,如果文件上传成功后列表中未显示新数据源,或页面长时间无响应,可按以下步骤排查:

  1. 确认已单击创建按钮:上传文件后,需要单击开始创建并刷新页面。仅完成上传但未单击开始创建,不会触发数据源的实际创建。

  2. 检查重名数据源:如果表格中存在与已有数据源同名的条目,该条目会被跳过,且页面可能没有明显的失败提示。请先核对并删除或修改重名条目,再重新上传。

  3. 检查工作空间模式与环境字段:如果当前工作空间为简单模式,仅支持生产环境,请将表格中环境字段由 dev 改为 Prod 后再上传;仅在标准模式下才需要区分开发环境生产环境

  4. 排除浏览器缓存干扰:可尝试使用浏览器无痕模式重新上传,排除本地缓存导致列表未及时刷新的问题。

使用 RDS 实例创建数据源时找不到对应实例,如何处理?

使用 RDS 实例创建数据源时,如果在实例下拉列表中找不到目标实例,请先确认该 RDS 实例的引擎类型:

  • 如果实例为 MySQL 类型,请将数据源类型选择为对应的 MySQL 数据源。

  • 如果实例为 PostgreSQL 类型,请将数据源类型切换为对应的 PostgreSQL 数据源。

调整数据源类型后,刷新页面重新获取实例列表。实例列表按数据源类型过滤,数据源类型与实例引擎类型不一致时,目标实例不会出现在列表中。

DataWorks 通过公网连接外部数据库(如 MongoDB Atlas)报错 UnknownHostException 或连接失败怎么办?

DataWorks 通过公网连接外部数据库(例如 MongoDB Atlas)出现 UnknownHostException 报错或连接失败时,可按以下步骤排查:

  1. 确认 NAT 网关和 EIP 已正常配置:确认 Serverless 资源组所在 VPC 已配置公网 NAT 网关并绑定 EIP,且该 EIP 可以从公网正常访问(例如可以 ping 通)。

  2. 检查外部数据库的访问控制:登录外部数据库(例如 MongoDB Atlas)控制台,确认已将阿里云 NAT 网关绑定的 EIP 加入访问白名单,或已将访问权限设置为允许所有 IP 访问。

  3. 评估跨境网络限制:如果以上配置均确认无误,但连接仍不稳定或失败,通常是因为目标数据源部署在其他云环境(例如 MongoDB Atlas、Azure 等),公网连接受跨境网络链路限制或抖动影响。此时可以通过 VPN、高速通道或专线等方式打通阿里云 VPC 与目标云环境之间的内网连接,并改用内网地址配置数据源,以提升连通性和稳定性。