进行数据同步时,需要根据数据库所在网络环境,通过对应的网络解决方案,实现对应类型资源组与数据库的网络连通。本文为您介绍数据源在不同网络环境中时,可选用的网络连通方案。

网络连通解决方案概览

网络连通解决方案由上图可见:
  • 使用独享数据集成资源组时:

    可以与在公网环境中、VPC网络环境中、IDC网络环境中的数据源进行网络连通,无法与经典网络中的数据源连通。详情可参见下文的使用独享数据集成资源组

  • 使用公共数据集成资源组时:

    可以与在公网环境中、经典网络中的数据源进行网络连通,无法与在VPC网络环境中、IDC网络环境中的数据源连通。详情可参见下文的使用公共数据集成资源组

  • 使用自定义数据集成资源组时:

    可以与在公网环境中的数据源直接连通,与在同一网络中的数据源可以连通,无法与在不同网络中的数据源连通。详情可参见下文的使用自定义资源组

使用独享数据集成资源组

独享资源部署在DataWorks托管的专有网络(VPC)中,与其他网络环境不连通。使用独享资源时,您需进行网络配置,为独享资源绑定一个可与数据源连通的VPC,通过此VPC实现与数据源网络连通。

说明
  • 更多独享数据集成资源组的介绍可参见独享数据集成资源组
  • 完成网络连通配置后,您可根据数据库是否开启白名单设置,如果开启了白名单,则您需要将资源组相应的IP地址段添加至数据库的白名单中,避免资源组无法正常读写数据库的数据,详情可参见添加白名单
  • 如果您的数据库是ECS自建数据库,您还需安全组配置,详情可参见ECS自建数据库的安全组配置
数据源所在网络环境 网络连通方案 网络连通配置操作指导
数据源具备访问公网的能力。 直接连接。独享 独享数据集成资源组的详情请参见新增和使用独享数据集成资源组
注意 请注意公网的收费限制,详情请参见数据集成公网流量计费
数据源在VPC内 - 数据源VPC和DataWorks在同一个地域。 网络连通方案:VPC
  • 在同个可用区:独享数据集成资源组可绑定数据源所在VPC。
    说明 绑定VPC后,系统自动为您添加一条路由至整个VPC的路由,您绑定VPC的任意一个交换机,资源组与数据源的网络都可连通。
  • 在不同可用区:独享数据集成资源组绑定一个VPC后,需要进入控制台添加路由,详情可参见添加路由
数据源在VPC内 - VPC和DataWorks在不同的地域。 网络连通方案:VPC跨地域
  1. 为独享数据集成资源组绑定一个VPC。
    1. 在DataWorks所在地域新建一个VPC。
    2. 为独享数据集成资源组绑定上述创建的VPC。
  2. 配置数据源和资源组的网络连通。
    1. 使用高速通道或VPN连通两个VPC。
    2. 在控制台添加路由,连接至目标VPC,详情可参见添加路由
数据源在IDC内。 网络连通方案:IDC
  1. 为独享数据集成资源组绑定一个VPC。
    1. 在DataWorks所在地域新建一个VPC。
    2. 为独享数据集成资源组绑定上述创建的VPC。
  2. 配置数据源和资源组的网络连通。
    1. 使用高速通道或VPN连通资源组VPC和IDC网络。
    2. 在数据源VPC控制台添加路由,连接至目标IDC,详情可参见添加路由
数据源在经典网络。
不支持网络连通。
说明 阿里云经典网络已不推荐使用,建议您迁移数据源至VPC。

使用公共数据集成资源组

公共资源组是一个公共资源池,不保证任务可以及时得到资源并被调度执行。如果您需要任务得到高保证的运行,请使用独享资源组,详情请参见新增和使用独享数据集成资源组新增和使用独享调度资源组
说明
  • 更多公共数据集成资源组的介绍可参见公共资源组与公共资源包
  • 完成网络连通配置后,您可根据数据库是否开启白名单设置,如果开启了白名单,则您需要将资源组相应的IP地址段添加至数据库的白名单中,避免资源组无法正常读写数据库的数据,详情可参见添加白名单
  • 如果您的数据库是ECS自建数据库,您还需安全组配置,详情可参见ECS自建数据库的安全组配置
数据源所在网络环境 网络连通方案 网络连通配置操作指导
数据源在公网环境中或在经典网络环境中。 直接连接。公共资源组
说明 阿里云经典网络已不推荐使用,建议您迁移数据源至VPC。
公共资源组的详情请参见使用公共资源组
注意 请注意公网的收费限制,详情请参见数据集成公网流量计费
数据源在VPC内 - VPC和DataWorks在同一地域。
不支持网络连通。
说明 建议您使用独享数据集成资源组。
数据源在VPC内 - VPC和DataWorks在不同的地域。
不支持网络连通。
说明 建议您使用独享数据集成资源组。
数据源在IDC内。
不支持网络连通。
说明 建议您使用独享数据集成资源组。

使用自定义资源组

如果您有富余的服务器资源,也可将此部分资源作为DataWorks中任务运行的资源组使用,DataWorks支持自定义资源组。
注意
  • 您需要开通DataWorks专业版,才可以使用自定义资源组。更多自定义资源组的介绍可参见自定义资源组
  • 完成网络连通配置后,您可根据数据库是否开启白名单设置,如果开启了白名单,则您需要将资源组相应的IP地址段添加至数据库的白名单中,避免资源组无法正常读写数据库的数据,详情可参见添加白名单
  • 如果您的数据库是ECS自建数据库,您还需安全组配置,详情可参见ECS自建数据库的安全组配置
数据源所在网络环境 网络连通方案 网络连通配置操作指导
数据源具备访问公网的能力。 直接连接。公网 自定义资源组的详情请参见新增自定义数据集成资源组
注意 请注意公网的收费限制,详情请参见数据集成公网流量计费
数据源和自定义资源组在同一个网络环境(同一VPC/经典网络/IDC网络)。 直接连接。同网络
数据源和自定义资源组在不同网络环境(不同的VPC/经典网络/IDC网络)。 网络连通方案:不同网络 访问其它的VPC、IDC或经典网络,您需要使用高速通道或VPN连通自定义资源组和该数据源所在的网络。

附录

  • 网络连通解决方案如下:
    • 云企业网使用场景示例,请参见云企业网
    • 高速通道使用场景示例,请参见高速通道
    • VPN网关使用场景示例,请参见VPN网关
  • 查看数据集成任务执行集群的方式如下:
    • 任务运行在默认的资源组上,日志中会出现如下信息。
      running in Pipeline[basecommon_ group_xxxxxxxxx]
      - 有RDS数据源时,任务默认下发至OXS集群:running in Pipeline[basecommon_ group_xxx_oxs]
      - 其它数据源默认下发至ECS集群:running in Pipeline[basecommon_ group_xxx_ecs]
    • 任务运行在独享数据集成资源上,日志中会出现如下信息。
      running in Pipeline[basecommon_S_res_group_xxx]
    • 任务运行在数据集成自定义资源组上,日志中会出现如下信息。
      running in Pipeline[basecommon_xxxxxxxxx]

后续步骤

  1. 选择合适的网络连通方案后,您可参考连通方案对应的操作引导配置数据源与资源组的网络连通。
  2. 完成网络连通配置后,您可根据数据库是否开启白名单设置,如果开启了白名单,则您需要将资源组相应的IP地址段添加至数据库的白名单中,避免资源组无法正常读写数据库的数据,详情可参见添加白名单
  3. 如果您的数据库是ECS自建数据库,您还需安全组配置,详情可参见ECS自建数据库的安全组配置