本文为您介绍数据源连通性测试的常见问题,并根据数据源和资源组不同的场景为您提供相应的解决方案。

数据源测试连通性

数据同步时,一个任务只能使用一种资源组。您需要在每种资源组上单独测试连通性,以保证同步任务使用的数据集成资源组能够与数据源连通,否则将无法正常执行数据同步任务。测试连通性
说明
  • 自定义资源组暂不支持测试连通性,请您自行保障其网络可以访问数据源。
  • 使用自定义资源组将无法获取表的元数据信息,请通过脚本模式配置任务。详情请参见通过脚本模式配置任务

测试数据源连通失败的常见问题

如果数据源测试不通,可能的原因和解决方案如下:
  • 数据库没有启动,请确认已经正常启动。
  • DataWorks无法访问数据库所在网络,请确保网络已和阿里云连通。
  • 数据库所在的网络防火墙禁止DataWorks访问,请添加白名单。详情请参见添加白名单
  • 无法正确解析数据库域名,请确认可以正常解析域名访问。
  • 数据库在VPC或者IDC中,且无法连接独享资源组,请连通网络或者在控制台的独享资源组绑定VPC处添加路由。详情请参见独享数据集成资源组

数据源所在场景和对应的网络连通解决方案

数据源所在场景 公共资源组 独享数据集成资源组 自定义资源组
数据源具备访问公网的能力。
注意 请注意公网的收费限制,详情请参见数据集成公网流量计费项
直接连接,公共资源组的详情请参见公共资源组 直接连接,独享数据集成资源组的详情请参见独享数据集成资源组 直接连接,自定义资源组的详情请参见自定义资源组
注意 您需要开通DataWorks专业版,才可以使用自定义资源组。
数据源在VPC内。 VPC和DataWorks在同一个地域。 不涉及。 解决方案如下:
  1. 绑定该VPC。
  2. 如果可用区不同,绑定VPC后,需要进入控制台添加路由。
自定义资源组在不同网络类型的解决方案如下:
  • 指定VPC、IDC或经典网络内的某机器为资源组,需要具备访问公网的能力。
  • 本VPC、IDC或经典网络内的数据源可以直接访问。
  • 访问其它VPC、IDC或经典网络,需要您自己使用高速通道、VPN或其它方式连通。
VPC和DataWorks在不同的地域。 不涉及。 解决方案如下:
  1. 在DataWorks所在地域新建一个VPC。
  2. 使用高速通道或VPN连通两个VPC。
  3. 绑定DataWorks所在地域的VPC。
  4. 绑定后,在控制台添加路由,连接至目标VPC。
数据源在IDC内。 不涉及。 解决方案如下:
  1. 在DataWorks所在地域新建一个VPC。
  2. 使用高速通道或VPN连通两个VPC。
  3. 绑定DataWorks所在地域的VPC。
  4. 绑定后,在控制台添加路由,连接至目标IDC。
数据源在经典网络。
说明 建议您迁移数据源至VPC。
直接连接。 不涉及。

资源组和数据源网络访问能力的对应关系

  • 公共资源组
    公共资源组可以直接访问具备公网访问能力的数据源,或者是经典网络中的数据源。公共资源组
  • 独享资源组
    • 独享资源组可以直接访问公网上的数据源。独享
    • 数据源在VPC内,并且该VPC和DataWorks独享资源组在同一个地域内。VPC
      您需要进行以下操作:
      1. 独享资源组绑定该VPC。
      2. 绑定后,如果数据源所在VPC的可用区和独享资源组的VPC可用区不同,则需要在控制台添加路由,以连通网络。
    • 数据源在VPC内,但是该VPC和DataWorks独享资源组不在同一个地域内。VPC跨地域
      您需要进行以下操作:
      1. 在DataWorks所在地域新建一个VPC。
      2. 使用高速通道或VPN连通IDC和VPC。
      3. 绑定DataWorks所在地域的VPC。
      4. 绑定后,在控制台添加路由,连接至目标VPC。
    • 数据源在IDC内。IDC
      1. 在DataWorks所在地域新建一个VPC。
      2. 使用高速通道或VPN连通两个VPC。
      3. 绑定DataWorks所在地域的VPC。
      4. 绑定后,在控制台添加路由,连接至目标IDC。
  • 自定义资源组
    • 自定义资源组可以直接访问有公网的数据源。公网
    • 如果数据源和自定义资源组在同一个网络环境,自定义资源组可以直接访问数据源。同网络
    • 如果数据源和自定义资源组在不同的网络环境,访问其它的VPC、IDC或经典网络,您需要使用高速通道或VPN连通自定义资源组和该数据源所在的网络。不同网络

附录

  • 网络连通解决方案如下:
    • 云企业网使用场景示例,请参见云企业网
    • 高速通道使用场景示例,请参见高速通道
    • VPN网关使用场景示例,请参见VPN网关
  • 调度集群说明如下:
    • 目前调度集群在华东2(上海)、华南1(深圳)、中国(香港)、亚太东南1(新加坡)均有部署,网络连通性取决于调度集群和用户数据源所在的地域是否一致。

      例如,您的调度集群在华东2(上海),而MongoDB数据源在华北2(北京)。由于调度集群和数据源跨区域,导致网络连接不通。

    • OXS集群和ECS集群内网不通。

      RDS的调度集群是OXS,OXS集群和内网中国内地所有区域的RDS互通。其它数据源由另外一套ECS经典网络的调度集群调度。

      例如,RDS同步至自建数据库测试时,RDS和自建数据库数据源测试连通性均可以成功。但实际调度时,RDS会下发至OXS调度集群,自建数据库会下发至ECS集群,RDS和ECS集群不通,所以测试失败。通常建议您将RDS改为MySQL>JDBC方式,以保证都可以调度ECS集群,网络连接成功。

  • 查看数据集成任务执行集群的方式如下:
    • 任务运行在默认的资源组上,日志中会出现如下信息。
      running in Pipeline[basecommon_ group_xxxxxxxxx]
      - 有RDS数据源时,任务默认下发至OXS集群:running in Pipeline[basecommon_ group_xxx_oxs]
      - 其它数据源默认下发至ECS集群:running in Pipeline[basecommon_ group_xxx_ecs]
    • 任务运行在独享数据集成资源上,日志中会出现如下信息。
      running in Pipeline[basecommon_S_res_group_xxx]
    • 任务运行在数据集成自定义资源组上,日志中会出现如下信息。
      running in Pipeline[basecommon_xxxxxxxxx]