DataWorks独享数据集成资源组用于保障数据集成同步任务数据快速、稳定的传输,并且可通过独享数据集成资源组实现复杂网络环境下的数据同步。购买独享资源组后,在实际使用前您还需进行网络绑定、白名单等配置操作。本文为您介绍从购买至使用独享数据集成资源组的全流程与步骤详情。
前提条件
购买和使用独享数据集成资源组前:- 您需要先了解独享数据集成资源组的规格性能(不同规格能同时跑多少任务)、计费类型(不同规格怎么收费)等细节,提前根据业务场景规划需购买的资源组规格和购买时长,详情请参见:独享数据集成资源组计费说明:包年包月。
- 由于执行数据同步任务流程的要求,需要保证资源组可以访问数据源(来源数据源和目标数据源)所在的网络,且不会因白名单限制等原因不能访问数据源。因此,您需要在保证网络连通的前提下,再使用数据集成,如果网络不通,会导致数据同步任务无法执行。独享数据集成资源组与数据源间的网络连通方案和白名单注意事项,详情请参见:独享数据集成资源组。
- 您需要先了解独享数据集成资源组使用场景,详情请参见:独享数据集成资源组。
操作流程
从购买至使用独享数据集成资源组,您需进行的主要操作流程如下。
步骤 | 描述 | 参考链接 |
---|---|---|
1 | 独享资源组为包年包月服务,您需要单独购买。 | 购买资源组 |
2 | 独享资源组购买完成后默认不归属于任何工作空间,您可规划该资源组归属的工作空间,并将其与工作空间进行绑定。 | 绑定归属工作空间 |
3 | 若独享资源组需要访问VPC网络环境,您需要为其绑定与目标VPC网络环境数据源或地址网络连通的VPC。 | 绑定专有网络 |
4 | 若目标环境存在白名单控制,您需要在目标环境添加独享资源组的相关IP,保障独享资源组可访问目标环境。 | 添加白名单 |
5 | 为保障任务配置无误,建议您先前往数据源测试数据的连通性。 | 测试网络联通 |
6 | 独享资源组绑定工作空间后,任务不会自动切换使用独享资源组执行,您需要参考该步骤手动切换任务执行时使用的资源组。 | 切换数据集成资源组 |
7 | 查看资源组的使用与排队情况,与资源组的使用率及等待资源的实例数监控。 | 查看资源组使用率与资源组运维监控 |
注意事项
- 仅拥有AliyunBSSOrderAccess和AliyunDataWorksFullAccess权限的用户可以进行购买资源组的操作。
- 仅空间管理员可以进行资源组归属空间绑定与修改的操作。
- 资源组界面权限点详情请参见资源组权限管控策略。
- 创建自定义策略内容并授权操作参考详情请参见创建自定义策略(可选)。
- 4c8g类型的独享数据集成资源组最多支持绑定2个专有网络,其他规格的独享数据集成资源组最多支持绑定3个专有网络。
- 同一独享资源组下同规格资源数购买上限为20个。
购买资源组
说明 仅拥有AliyunBSSOrderAccess和AliyunDataWorksFullAccess权限的用户可以进行购买资源组的操作。
- 登录DataWorks控制台。
- 单击左侧导航栏资源组列表,在独享资源组页签下单击创建集成资源组,在购买页面根据业务需要配置相应的参数,配置要点如下。
其他配置项,可根据业务规划自行配置即可。参数 描述 地域和可用区 选择后续需要使用此独享资源组的地域。 说明 独享调度资源组不支持跨地域使用。例如,华东2(上海)地域的独享资源,只能给华东2(上海)地域的工作空间使用。独享资源类型 选择为独享数据集成资源。 资源组名称 设置资源组的名称,此名称需在租户内唯一,请避免重复,否则会导致在后续进行确定操作时报错。 说明 租户即主账号,一个租户(主账号)下可以有多个用户(子账号)。资源组备注 对资源组进行简单描述。 计费周期 独享资源组为包年包月服务,为保障服务不中断,建议您勾选到期自动续费,资源组创建完后,您也可以前往阿里云续费管理页面,开启或取消自动续费服务。详情请参见通用参考:取消包年包月产品的自动续费。 说明 同一独享资源组下同规格资源数购买上限为20个。 - 单击立即购买,根据界面提示进行付款等操作后即可完成购买独享数据集成资源组。购买后,DataWorks即开始初始化此独享资源组,当资源组状态为运行中后,独享资源组即已添加至控制台。说明 独享资源组的初始化需要约20分钟,请您耐心等待其状态更新为运行中。
绑定归属工作空间
说明 仅空间管理员可以进行资源组归属空间绑定与修改的操作。
独享数据集成资源组需要绑定归属的工作空间,才可以在对应的工作空间下选择使用该独享资源组。一个独享数据集成资源组可以分配给多个工作空间使用,但不可跨地域使用,例如,上海地域的独享数据集成资源组仅可绑定上海地域的工作空间使用,不可绑定其他地域的工作空间。绑定归属工作空间的操作如下。
- 登录DataWorks控制台。
- 在资源组列表的独享资源组页签下,单击相应资源组后的修改归属工作空间。
- 在修改归属工作空间单击对应工作空间后的绑定,即可将独享资源组绑定至此工作空间。
绑定专有网络
独享资源部署在DataWorks托管的专有网络(VPC)中,与其他网络环境不连通。使用独享资源时,您需进行网络配置,为独享资源绑定一个可与数据源连通的VPC,通过此VPC实现与数据源网络连通。绑定专有网络的操作如下。
重要 4c8g类型的独享数据集成资源组最多支持绑定2个专有网络,其他规格的独享数据集成资源组最多支持绑定3个专有网络。
- 登录DataWorks控制台。
- 在资源组列表的独享资源组页签下,单击相应资源组后的网络设置,进入专有网络绑定页面。绑定前,请首先使用阿里云主账号进行RAM授权(仅主账号有权限),让DataWorks拥有访问您的云资源的权限。您可以通过云资源访问授权页面进行授权。也可以在主账号首次进入管控后弹出的界面弹框中进行授权。
- 绑定专有网络VPC。说明 如果数据源和独享资源组不在同一个地域,或不在同一个阿里云账号下,则您需要绑定专有网络后,再添加路由规则指向目标数据库IP地址。
- 可选:配置Host。如果您的数据源无法通过IP直接访问,例如,数据源通过Host的域名托管,通过Host域名直接被外部访问时,您需要参考以下步骤配置Host,否则在添加数据源时,使用数据源的Host域名进行连通性测试时会失败。
添加白名单
独享数据集成资源组和数据源同可用区时,如果同专有网络、交换机的情况下仍未连通网络,则可能是因为数据源有白名单限制。请添加以下内容至数据源的白名单列表中。
- 使用内网连通数据源与独享资源组:添加独享资源组绑定专有网络时的交换机网段至数据源白名单中。 您需要为独享资源组绑定专有网络后,进入DataWorks的网络设置,进入专有网络绑定页面查看交换机网段。页面,单击相应资源组后的
- 使用公网连通数据源与独享资源组:添加独享资源组的EIP地址至数据源白名单中。
测试网络联通
以上网络配置完成之后,您需要通过以下方式测试资源组与数据源之间的网络连通性。
- 单击相应工作空间后的
图标,单击工作空间配置,在工作空间配置对话框中,单击更多设置,进入工作空间配置页面。
- 在左侧导航栏单击数据源管理 ,进入数据源管理页面。
- 单击相应数据源操作列的编辑。
- 在数据集成页签下,单击相应资源组名称后的测试连通性,连通状态为可连通时,表示连通成功。说明 如果网络不通,您可以单击自助排查解决,使用诊断工具进行诊断网络联通异常。若您需要进一步了解各网络环境下数据源与独享资源组的网络联通,详情请参见:配置资源组与网络连通。
- 单击完成。
切换数据集成资源组
独享数据集成资源组创建并配置完成后,您可以通过如下方式切换任务使用的资源组。操作环境 | 支持的切换操作 | 界面入口 |
---|---|---|
切换生产环境资源组 | 批量切换 | 进入 勾选需要修改资源组的任务,单击底部菜单栏的 ,即可批量修改。![]() | 界面设置。
切换开发环境资源组 |
| 进入DataStudio页面设置。
说明 若未找到修改数据集成资源组入口,可先过滤节点类型为离线同步。 |
查看资源组使用率与资源组运维监控
您可在DataWorks管理控制台查看资源组的使用与排队情况,并支持通过运维中心的智能监控功能来对资源组的使用率及等待资源的实例数进行监控。查看资源组使用率,详情请参见查看独享资源组的使用率,资源组监控,详情请参见创建自定义规则。