当前使用DataWorks的实时数据同步任务同步数据时,仅支持使用独享数据集成资源组。本文为您介绍使用实时数据同步任务同步数据时,需要使用的资源及相关配置。

背景信息

  • 资源准备与规划:

    使用实时数据同步任务同步数据时,当前仅支持使用独享数据集成资源组。因此,在进行数据同步前,您需要购买独享数据集成资源组,并将资源组添加至DataWorks中,便于后续同步任务使用。

    独享数据集成资源组的详细介绍可参见独享数据集成资源组概述

  • 网络联通:

    独享数据集成资源组本质上为一组资源实例,购买添加完成后的初始状态下,与其他产品的网络并不联通,因此您需要为独享数据集成资源组绑定网络环境,为后续与数据源进行数据同步做好网络联通的准备。

购买独享数据集成资源组

  1. 登录DataWorks控制台
  2. 选择相应地域后,在左侧导航栏,单击资源组列表
  3. 独享资源组页面,单击创建独享资源组
  4. 创建独享资源组对话框中,单击订单号后的购买,跳转至购买页面。
  5. 进入购买页面后,请根据实际需要,选择相应的地域独享资源类型资源数量计费周期,单击立即购买
    说明 此处的独享资源类型选择独享数据集成资源
  6. 确认订单信息无误后,勾选《DataWorks独享资源(包年包月)服务协议》,单击去支付

新增独享数据集成资源组

  1. 资源组列表 > 独享资源组页面,单击创建独享资源组
  2. 创建独享资源组对话框中,配置各项参数。
    参数 描述
    资源组类型 资源的使用类型。独享资源包括独享调度资源独享数据集成资源两种类型,分别适用于通用任务调度和数据同步任务专用。
    资源组名称 资源的名称,租户内唯一,请避免重复。
    说明 租户即主账号,一个租户(主账号)下可以有多个用户(子账号)。
    资源组备注 对资源进行简单描述。
    订单号 此处选择购买的独享资源订单。如果没有购买,请单击购买,跳转至售卖页进行购买。
  3. 配置完成后,单击确定
    说明 独享资源在20分钟内完成环境初始化,请耐心等待其状态更新为运行中

绑定专有网络

独享资源部署在DataWorks托管的专有网络(VPC)中,与其他网络环境不连通。使用独享资源时,您需进行网络配置,为独享资源绑定一个可与数据源连通的VPC,通过此VPC实现与数据源网络连通。绑定专有网络的操作如下。
注意 4c8g类型的独享数据集成资源组最多支持绑定2个专有网络,其他规格的独享数据集成资源组最多支持绑定3个专有网络。
  1. 登录DataWorks控制台
  2. 资源组列表独享资源组页签下,单击相应资源组后的网络设置,进入专有网络绑定页面。
    绑定前,请首先使用阿里云主账号进行RAM授权(仅主账号有权限),让DataWorks拥有访问您的云资源的权限。您可以通过云资源访问授权页面进行授权。也可以在主账号首次次进入管控后弹出的界面弹框中进行授权。
  3. 绑定专有网络VPC。
    1. 单击专有网络绑定页面左上方的新增绑定,在新增专有网络绑定对话框中,配置各项参数,不同网络环境下各参数的配置说明如下。
      参数说明如下:
      参数 配置说明(数据源与独享资源同账号同地域) 配置说明(数据源与独享资源在不同账号或不同地域)
      专有网络 如果您的数据源与独享资源组在同一个阿里云账号下,建议配置为数据源所在的VPC。

      如果不在同一个阿里云账号下,则与不在同一地域场景一致。

      如果您的数据源与独享资源不在同一地域,例如,数据源不在阿里云VPC网络环境中,您可单击创建专有网络,为独享资源组创建一个VPC。创建完成后这里配置为新建的VPC或选择已经与目标数据库网络打通的VPC。
      说明 在创建专有网络的场景下,您还需通过VPN或高速通道等方式,将独享资源组绑定的VPC与数据源所在VPC网络打通,并手动添加路由指向目标数据库IP,保障两个网络间可达。
      可用区 选择数据库所在可用区。 选择已经与目标数据库网络联通的可用区。
      交换机 专有网络配置为数据源所在VPC时,建议选择与数据源绑定的交换机。
      说明 绑定数据源所在VPC后,绑定VPC下任意一个交换机,会自动添加路由至整个VPC网段,实现独享数据集成资源组在该VPC下网络可达。
      选择已经与目标数据库网络联通的交换机,若没有可用交换机,可单击创建交换机为独享资源组创建交换机。创建完成后这里配置为创建的交换机。
      安全组 安全组指定了独享资源实例需要允许或禁止哪些公网或内网的访问。您可根据业务需求选择已有的安全组,或单击创建安全组为独享资源实例创建安全组。创建安全组的详细参数配置可参见添加安全组规则
    2. 单击确定,完成绑定VPC操作。
    说明 如果数据源和独享资源组不在同一个地域,或不在同一个阿里云账号下,则您需要绑定专有网络后,再添加路由规则指向目标数据库IP地址。
  4. 可选:配置Host。
    如果您的数据源无法通过IP直接访问,例如,数据源通过Host的域名托管,通过Host域名直接被外部访问时,您需要参考以下步骤配置Host,否则在添加数据源时,使用数据源的Host域名进行连通性测试时会失败。
    1. 单击Host配置,在Host配置页面左上方单击新增,在新增域名Host配置对话框中配置各项参数。参数说明如下。
      参数 配置说明
      IP地址 配置为数据源的实际IP地址。
      Host域名 配置为数据源对外提供访问服务的Host域名。如果有多个Host域名时,可换行依次添加。
      说明 此处的域名需包含数字、字母、连字符(-)、点(.),且必须以字母开头,以字母或者数字结尾。
    2. 如果有多个IP地址需要添加,可继续单击新增继续添加。
      说明
      • 新增的Host配置中,IP、域名不能与之前配置的Host中的IP或域名重复。
      • 一个Host配置中,IP与域名为1对多的关系,即IP可以对应多个Host域名,但是同一个Host域名只能指向一个IP。
  5. 可选:配置DNS。
    如果您的数据源无法通过IP直接访问,例如,数据源通过负载均衡域名直接被外部访问,通过内部域名解析服务器将域名解析至实际数据源IP地址时,您需要参考以下步骤配置DNS,否则在添加数据源时,使用数据源的Host域名进行连通性测试时会失败。
    说明 如果同一个域名同时配置了Host和DNS,系统会优先根据Host的访问规则访问数据源。
    1. 单击DNS配置,在DNS配置页面左下角单击添加,配置完成DNS各项参数后单击保存。参数说明如下。
      参数 配置说明
      Domain 非必配项。如果数据源有统一的一级域名,可在此处配置为数据源对外提供访问的域名的一级域名。

      例如,数据源1对外的访问域名为domain1.example.com,数据源2对外的访问域名为domain2.example.com,此处建议配置为example.com。

      说明 此处的域名需包含数字、字母、连字符(-)、点(.),且必须以字母开头,以字母或者数字结尾。
      NameServer 配置为数据源提供域名解析的解析服务的IP地址。如果有多个域名解析服务器时,可换行依次添加。
    2. 如果您需要修改之前配置的DNS,您可单击左下角的修改

后续步骤

资源规划配置完成后,您可继续配置数据源,将输入数据源与输出数据源的网络、账号权限等准备工作完成。如果您使用的数据源不涉及配置操作,则可以直接进行下一步的添加数据源,准备好需要使用的数据源,以便创建执行后续的实时数据同步任务。