全部产品
Search
文档中心

大数据开发治理平台 DataWorks:新增和使用独享数据集成资源组

更新时间:Jan 18, 2024

您可以使用DataWorks独享数据集成资源组功能,为数据集成同步任务分配独立的计算资源,从而提高任务的执行效率和稳定性。购买独享资源组后,在实际使用前您还需进行网络绑定、白名单等配置操作。本文为您介绍从购买至使用独享数据集成资源组的全流程与步骤详情。

前提条件

您需要先了解独享数据集成资源组的规格性能(不同规格能同时跑多少任务)、计费类型(不同规格怎么收费)等细节,提前根据业务场景规划需购买的资源组规格和购买时长,详情请参见:独享数据集成资源组计费说明:包年包月

注意事项

独享数据集成资源组支持复杂网络环境下的数据同步。例如,跨云环境(金融云、政务云等)、跨阿里云账号、本地IDC数据同步。由于执行数据同步任务流程的要求,需要保证资源组可以访问数据源(来源数据源和目标数据源)所在的网络,且不会因白名单限制等原因不能访问数据源。因此,您需要在保证网络连通的前提下,再使用数据集成,如果网络不通,会导致数据同步任务无法执行。独享数据集成资源组与数据源间的网络连通方案和白名单注意事项,详情请参见:独享数据集成资源组

说明

如果您暂无连通数据库实例的需求,只是为了缓解因公共集成资源组的资源紧张,导致任务延迟的问题,则无需关注本文涉及的网络相关问题。您可以购买任意可用区的独享集成资源组,且无需进行网络相关配置操作。

操作流程

从购买至使用独享数据集成资源组,您需进行的主要操作流程如下。

步骤

描述

参考链接

1

独享资源组为包年包月服务,您需要单独购买。

购买资源组

2

独享资源组购买完成后默认不归属于任何工作空间,您可规划该资源组归属的工作空间,并将其与工作空间进行绑定。

绑定归属工作空间

3

若独享资源组需要访问VPC网络环境,您需要为其绑定与目标VPC网络环境数据源或地址网络连通的VPC。

绑定专有网络

4

若目标环境存在白名单控制,您需要在目标环境添加独享资源组的相关IP,保障独享资源组可访问目标环境。

添加白名单

5

为保障任务配置无误,建议您先前往数据源测试数据的连通性。

测试网络联通

6

独享资源组绑定工作空间后,任务不会自动切换使用独享资源组执行,您需要参考该步骤手动切换任务执行时使用的资源组。

附录:切换数据集成资源组

7

查看资源组的使用与排队情况,与资源组的使用率及等待资源的实例数监控。

查看资源组使用率与资源组运维监控

使用限制

  • 仅拥有AliyunBSSOrderAccessAliyunDataWorksFullAccess权限的用户可以进行购买资源组的操作。

  • 仅空间管理员可以进行资源组归属空间绑定与修改的操作。

  • 资源组界面权限点详情请参见资源组权限管控策略

  • 创建自定义策略内容并授权操作参考详情请参见创建自定义策略(可选)

  • 4c8g类型的独享数据集成资源组最多支持绑定2个专有网络,其他规格的独享数据集成资源组最多支持绑定3个专有网络。

购买资源组

说明

仅拥有AliyunBSSOrderAccessAliyunDataWorksFullAccess权限的用户可以进行购买资源组的操作。

  1. 登录DataWorks控制台

  2. 单击左侧导航栏资源组列表,在独享资源组页签下单击创建集成资源组,在购买页面根据业务需要配置相应的参数,配置要点如下。

    参数

    描述

    地域和可用区

    选择后续需要使用此独享资源组的地域。

    说明

    独享数据集成资源组不支持跨地域使用。例如,华东2(上海)地域的独享资源,只能给华东2(上海)地域的工作空间使用。

    独享资源类型

    选择为独享数据集成资源

    资源名称

    设置资源组的名称,此名称需在租户内唯一,请避免重复,否则会导致在后续进行确定操作时报错。

    说明

    租户即主账号,一个租户(主账号)下可以有多个用户(子账号)。

    资源备注

    对资源组进行简单描述。

    计费周期

    独享资源组为包年包月服务,为保障服务不中断,建议您勾选到期自动续费,资源组创建完后,您也可以前往阿里云续费管理页面,开启或取消自动续费服务。详情请参见通用参考:取消包年包月产品的自动续费

    其他配置项,可根据业务规划自行配置即可。

  3. 单击立即购买,根据界面提示进行付款等操作后即可完成购买独享数据集成资源组。

    购买后,DataWorks即开始初始化此独享资源组,当资源组状态为运行中后,独享资源组即已添加至控制台。

    说明

    独享资源组的初始化需要约20分钟,请您耐心等待其状态更新为运行中

独享资源组添加至控制台后,您需要为资源组绑定工作空间,才可以在任务的配置中选择使用此独享资源组。

绑定归属工作空间

说明

仅空间管理员可以进行资源组归属空间绑定与修改的操作。

独享数据集成资源组需要绑定归属的工作空间,才可以在对应的工作空间下选择使用该独享资源组。一个独享数据集成资源组可以分配给多个工作空间使用,但不可跨地域使用,例如,上海地域的独享数据集成资源组仅可绑定上海地域的工作空间使用,不可绑定其他地域的工作空间。绑定归属工作空间的操作如下。

  1. 登录DataWorks控制台

  2. 资源组列表独享资源组页签下,单击相应资源组后的修改归属工作空间

  3. 修改归属工作空间单击对应工作空间后的绑定,即可将独享资源组绑定至此工作空间。

绑定专有网络

独享资源部署在DataWorks托管的专有网络(VPC)中,与其他网络环境不连通。使用独享资源时,您需进行网络配置,为独享资源绑定一个可与数据源连通的VPC,通过此VPC实现与数据源网络连通。绑定专有网络的操作如下。

重要

4c8g类型的独享数据集成资源组最多支持绑定2个专有网络,其他规格的独享数据集成资源组最多支持绑定3个专有网络。

  1. 登录DataWorks控制台

  2. 资源组列表独享资源组页签下,单击相应资源组后的网络设置,进入专有网络绑定页面。

    绑定前,请首先使用阿里云主账号进行RAM授权(仅主账号有权限),让DataWorks拥有访问您的云资源的权限。您可以通过云资源访问授权页面进行授权。也可以在主账号首次进入管控后弹出的界面弹框中进行授权。

  3. 绑定专有网络VPC。

    1. 单击专有网络绑定页面左上方的新增绑定,在新增专有网络绑定对话框中,配置各项参数,不同网络环境下各参数的配置说明如下。

      说明

      阿里云实例、ECS自建等场景均可根据DataWorks工作空间与数据源是否同阿里云主账号来进行网络连通方案选择与配置。

      参数

      配置说明(数据源与独享资源同账号同地域)

      配置说明(数据源与独享资源在不同账号或不同地域)

      专有网络

      如果您的数据源与独享资源组在同一个阿里云账号下,建议配置为数据源所在的VPC。

      如果不在同一个阿里云账号下,则与不在同一地域场景一致。

      如果您的数据源与独享资源不在同一地域或不在同一个阿里云主账号下,您需要选择该账号下已与目标数据源所在环境网络打通的VPC。例如,数据源不在阿里云VPC网络环境中,您可单击创建专有网络,为独享资源组创建一个VPC。创建完成后这里配置为新建的VPC或选择已经与目标数据库网络打通的VPC。

      说明

      DataWorks工作空间和数据源不在同一地域或不在同一个阿里云主账号下,您还需通过VPN网关高速通道等方式,将独享资源组绑定的VPC与数据源所在VPC网络打通,并手动添加路由指向目标数据库IP,保障两个网络间可达。详情请参见配置资源组与网络连通

      可用区

      选择数据库所在可用区。

      选择已经与目标数据库网络联通的可用区。

      交换机

      专有网络配置为数据源所在VPC时,建议选择与数据源绑定的交换机。

      说明

      绑定数据源所在VPC后,绑定VPC下任意一个交换机,会自动添加路由至整个VPC网段,实现独享数据集成资源组在该VPC下网络可达。

      选择已经与目标数据库网络联通的交换机,若没有可用交换机,可单击创建交换机为独享资源组创建交换机。创建完成后这里配置为创建的交换机。

      安全组

      安全组指定了独享资源实例需要允许或禁止哪些公网或内网的访问。您可根据业务需求选择已有的安全组,或单击创建安全组为独享资源实例创建安全组。创建安全组的详细参数配置可参见添加安全组规则

    2. 单击确定,完成绑定VPC操作。

    说明

    如果数据源和独享资源组不在同一个地域,或不在同一个阿里云账号下,则您需要绑定专有网络后,再添加路由规则指向目标数据库IP地址。

  4. 可选:配置Host。

    如果您的数据源无法通过IP直接访问,例如,数据源通过Host的域名托管,通过Host域名直接被外部访问时,您需要参考以下步骤配置Host,否则在添加数据源时,使用数据源的Host域名进行连通性测试时会失败。

    1. 单击Host配置,在Host配置页面左上方单击新增,在新增域名Host配置对话框中配置各项参数。参数说明如下。

      参数

      配置说明

      IP地址

      配置为数据源的实际IP地址。

      Host域名

      配置为数据源对外提供访问服务的Host域名。如果有多个Host域名时,可换行依次添加。

    2. 如果有多个IP地址需要添加,可继续单击新增继续添加。

      说明
      • 新增的Host配置中,IP、域名不能与之前配置的Host中的IP或域名重复。

      • 一个Host配置中,IP与域名为1对多的关系,即IP可以对应多个Host域名,但是同一个Host域名只能指向一个IP。

添加白名单

独享数据集成资源组和数据源同可用区时,如果同专有网络、交换机的情况下仍未连通网络,则可能是因为数据源有白名单限制。请添加以下内容至数据源的白名单列表中。

  • 使用内网连通数据源与独享资源组:添加独享资源组绑定专有网络时的交换机网段至数据源白名单中。

    您需要为独享资源组绑定专有网络后,进入DataWorks的资源组列表 > 独享资源组页面,单击相应资源组后的网络设置,进入专有网络绑定页面查看交换机网段独享绑定的交换机网段

  • 使用公网连通数据源与独享资源组:添加独享资源组的EIP地址至数据源白名单中。查看独享资源组EIP

测试网络联通

以上网络配置完成之后,您需要通过以下方式测试资源组与数据源之间的网络连通性。

  1. 进入数据源页面。

    1. 登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的管理中心,在下拉框中选择对应工作空间后单击进入管理中心

    2. 进入工作空间管理中心页面后,单击左侧导航栏的数据源,进入数据源页面。

  2. 在左侧导航栏单击数据源 ,进入数据源管理页面。

  3. 单击相应数据源操作列的编辑

  4. 数据集成页签下,单击相应资源组名称后的测试连通性,连通状态为可连通时,表示连通成功。测试网络联通

    说明

    如果网络不通,您可以单击自助排查解决,使用诊断工具进行诊断网络联通异常。若您需要进一步了解各网络环境下数据源与独享资源组的网络联通,详情请参见:配置资源组与网络连通

  5. 单击完成

查看资源组使用率与资源组运维监控

您可在DataWorks管理控制台查看资源组的使用与排队情况,并支持通过运维中心的智能监控功能来对资源组的使用率及等待资源的实例数进行监控。查看资源组使用率,详情请参见查看独享资源组的使用率,资源组监控,详情请参见创建自定义规则

附录:切换数据集成资源组

独享数据集成资源组创建并配置完成后,您可以通过如下方式切换任务使用的资源组。

操作环境

支持的切换操作

界面入口

切换生产环境资源组

批量切换

进入运维中心 > 周期任务界面设置。

勾选需要修改资源组的任务,单击底部菜单栏的操作 > 修改数据集成资源组,即可批量修改。image.png

切换开发环境资源组

  • 单个任务切换

  • 批量切换

进入DataStudio页面设置。

  • 单个任务切换

    进入目标节点的编辑页面,在配置同步网络连接 > 我的资源组 > 更多选项中即可修改。单个任务切换

  • 批量切换

    单击批量操作图标,勾选需要修改资源组的任务,单击底部菜单栏的修改数据集成资源组,即可批量修改。批量操作

说明

若未找到修改数据集成资源组入口,可先过滤节点类型为离线同步。