网络连通方案

更新时间:
复制 MD 格式

为了保证DataWorks中数据同步、数据调度等任务的顺利操作,还需要确保资源组绑定的VPC网络与数据源(目标网络环境下的数据库、数据服务或其他数据)之间的连通性,本文为您提供了不同网络环境下的网络连通解决方案。

背景信息

DataWorks的大部分功能(创建数据源、数据同步、数据分析、数据采集、数据服务等)均基于接入的数据源或计算资源进行相关操作,如果涉及访问的数据源不在当前DataWorks资源组绑定的VPC中(例如数据源在其他VPCIDC中),需要根据不同网络情况选择合适的网络连通方案,使DataWorks资源组绑定的VPC与数据源所在网络连通。

例如,在数据同步流程中,需要资源组绑定的VPC网络与数据来源端、数据去向端进行网络连通。

image

前提条件

已购买合适规格的资源组,购买详情请参见:使用Serverless资源组

说明
  • 资源组的更多介绍,请参见DataWorks资源组概述

  • 本文提供的网络连通方案仅适用于Serverless资源组、旧版资源组中的独享数据集成资源组独享调度资源组独享数据服务资源组

VPC 内数据源直连说明

当 DataWorks 资源组与阿里云数据源(如 RDS MySQL、RDS SQL Server、AnalyticDB 等)部署在同一 VPC(专有网络)内时,资源组可直接通过内网访问数据源,无需配置额外的网络打通工具。

  • 推荐方式:优先使用 VPC 内网连接。在添加数据源时,选择数据源所在的 VPC 和交换机,即可通过内网直连。内网连接延迟更低、稳定性更高,且不消耗公网带宽。

  • 备选方式:如果数据源同时支持公网访问,也可以使用连接串模式直接输入公网连接地址。但公网连接受带宽和网络波动影响,建议仅在无法使用内网连接时选用。

注意事项

  • Serverless资源组可通过绑定专有网络的方式在内网访问复杂网络环境下的数据源或地址。但Serverless资源组默认不具备公网访问能力,如果需要通过公网访问数据源或网络,请为Serverless资源组绑定的VPC配置公网NAT网关EIP。具体操作,请参见通过公网连接数据源

  • 无法保障公网环境下各任务的速度和稳定性,建议通过内网或者云企业网同步。

  • 资源组与数据源可连通是后续任务运行成功的必要条件之一。

  • 暂不支持资源组与经典网络环境进行数据交互,建议您将经典网络环境下的数据源或业务迁移至专有网络VPC环境。

VPC 内自建数据源直连说明

当 DataWorks 资源组与自建数据源(如部署在 ECS 上的 MySQL、SQL Server 等)位于同一 VPC 时,资源组可直接通过 VPC 内网访问该数据源,无需使用数据集成网络连通工具额外打通网络。

  • 在添加数据源时,选择 ECS 实例所在的 VPC 和交换机,填写数据库的内网 IP 和端口即可完成配置。

  • 请确认数据库已监听内网 IP 地址,且 ECS 安全组规则允许来自 DataWorks 资源组 VPC 网段的访问。

  • 如果自建数据源同时配置了公网访问,也可以使用连接串模式通过公网地址连接,但推荐优先使用 VPC 内网以获得更好的稳定性。

网络连通方案

网络连通方案选择取决于数据源与DataWorks工作空间资源组之间的环境关系,请根据实际情况选择对应的网络连通方案:

方案一:阿里云数据源连通(同主账号、同地域)

适用场景

如果您的数据源与DataWorks工作空间同时满足以下条件,推荐使用本方案。

  • 数据源是阿里云产品。

  • 数据源与DataWorks工作空间归属于同一阿里云主账号。

  • 数据源与DataWorks工作空间位于同一地域。

方案说明

同账号、同地域场景下,推荐使用VPC网络(内网)连接,将DataWorks工作空间的资源组与数据源部署在同一VPC下,即可实现网络互通。

网络连通示意图

同主账号同地域

配置网络连通

详细方案说明和操作步骤请参见连接同主账号同地域数据源

方案二:阿里云数据源连通(同主账号、不同地域)

适用场景

如果您的数据源与DataWorks工作空间同时满足以下条件,推荐使用本方案。

  • 数据源是阿里云产品。

  • 数据源与DataWorks工作空间归属于同一阿里云主账号。

  • 数据源与DataWorks工作空间位于不同地域。

方案说明

同账号、不同地域场景下,推荐使用VPC网络(内网)连接,使用网络连通工具(云企业网VPC对等连接)将DataWorks工作空间的资源组与数据源所在VPC打通,实现网络互通。

网络连通示意图

同主账号不同地域

配置网络连通

详细方案说明和操作步骤请参见连接同主账号不同地域数据源

方案三:阿里云数据源连通(不同主账号)

适用场景

如果您的数据源与DataWorks工作空间同时满足以下条件,推荐使用本方案。

  • 数据源是阿里云产品。

  • 数据源与DataWorks工作空间归属于不同阿里云主账号。

方案说明

不同主账号场景下,推荐使用VPC网络(内网)连接,使用网络连通工具(云企业网VPC对等连接)将账号A的数据源与账号BDataWorks工作空间资源组打通,实现网络互通。

网络连通示意图

不同主账号

配置网络连通

详细方案说明和操作步骤请参见连接不同主账号数据源

方案四:部署在ECS中的数据源网络连通

适用场景

如果您的数据源满足以下条件,推荐使用本方案。

  • 数据源部署在阿里云ECS中。

方案说明

  • 部署数据源的ECSDataWorks同主账号、同地域时,推荐使用VPC网络(内网)连接,将DataWorks工作空间的资源组与ECS实例部署在同一VPC下,即可实现网络互通。

  • 部署数据源的ECSDataWorks不同主账号同主账号、不同地域时,推荐使用VPC网络(内网)连接,使用网络连通工具(云企业网VPC对等连接)将DataWorks工作空间的资源组与ECS所在VPC打通,实现网络互通。

网络连通示意图

同主账号、同地域

ECS同主账号同地域

同主账号、不同地域

ECS同主账号不同地域

不同主账号

ECS不同主账号

配置网络连通

详细方案说明和操作步骤请参见连接云上ECS自建数据源

方案五:IDC数据源网络连通

适用场景

如果您的数据源满足以下条件,推荐使用本方案。

  • 数据源部署在本地IDC中。

方案说明

数据源部署在本地IDC场景下,推荐使用VPC网络(内网)连接,使用网络连通工具(高速通道)将数据源所在的本地网络与DataWorks工作空间资源组的VPC打通,实现网络互通。

网络连通示意图

IDC数据源

配置网络连通

详细方案说明和操作步骤请参见连接本地IDC数据源

方案六:公网数据源网络连通

适用场景

如果您的数据源满足以下条件,推荐使用本方案。

  • 数据源具备公网链接地址。

方案说明

  • Serverless资源组默认不具备公网访问能力,需要为资源组绑定的VPC配置公网NAT网关EIP后,才支持公网访问数据源。

  • 旧版资源组有公网访问能力,可直接连通。

    说明

    旧版资源组正在下线中,推荐使用Serverless资源组。

网络连通示意图

说明

示意图仅适用于Serverless资源组,旧版资源组已默认绑定EIP,可直接连通。

公网数据源

配置网络连通

详细方案说明和操作步骤请参见通过公网连接数据源

Serverless 资源组访问外部数据源的出口 IP 与白名单配置

使用 Serverless 资源组访问非阿里云的外部数据源(例如微软云 Databricks、自建 SQL Server 等)时,需要在外部数据源侧添加白名单以放行来自 DataWorks 的访问请求。Serverless 资源组默认不具备公网访问能力,必须先为资源组绑定 VPC,并在该 VPC 中配置公网 NAT 网关和弹性公网 IP(EIP),才能通过公网访问外部数据源。配置完成后,根据实际网络路径获取出口 IP 并添加至外部数据源的白名单:

访问方式

出口 IP 获取方法

白名单配置

通过公网访问外部数据源

在 NAT 网关控制台查看该网关绑定的弹性公网 IP(EIP)地址

将 EIP 地址添加到外部数据源(如 Databricks、SQL Server)的访问白名单中

通过同 VPC 内网访问

使用资源组所绑定的 VPC 网段

将 VPC 网段添加到数据源的访问白名单中

说明
  • 独享数据集成资源组自带弹性公网 IP,可在资源组列表页面直接查看出口 IP 地址,无需额外配置 NAT 网关。

  • Serverless 资源组需要在 VPC 控制台自行配置 NAT 网关并绑定 EIP,配置方法请参见 NAT 网关产品文档。

常见问题

数据源连通性检测正常但任务运行时报网络错误怎么办?

数据源连通性检测通过但任务实际运行时出现网络连通错误,通常是因为连通性检测和任务运行使用了不同的资源组。请按以下场景排查:

场景一:任务调度配置中资源组选择不正确

打开任务节点的调度配置,确认已选择与目标数据源网络连通的资源组。如果资源组不正确,修改后保存并重新运行节点。

场景二:工作流运行配置中资源组不一致

查看节点右侧的运行配置,确认其中显示的资源组名称与通过连通性检测的资源组一致。工作流级别的运行配置可能覆盖节点级别的调度配置。

场景三:资源组与数据源的 VPC 不一致或白名单缺失

如果资源组创建或连通失败,请检查:

  • 资源组绑定的 VPC 与数据源所在的 VPC 是否为同一个 VPC。如果不是同一 VPC,需要通过对应的网络连通方案打通网络。

  • 数据源的白名单是否已添加 DataWorks 资源组对应的 VPC 网段。可在资源组列表页面查看资源组的 VPC 网段信息。

相关文档