在数据集成任务高并发执行且无法错峰运行的情况下,需要专有的计算资源组来保障数据快速、稳定的传输时,建议您选择使用DataWorks的独享数据集成资源组。本文为您概要介绍独享数据集成资源组。

适用场景

  • 数据集成任务量大、且对任务时效性要求高。
  • 需要灵活调整资源组大小。
  • 需要访问公网地址、VPC、IDC。
  • 需要通过IP白名单进行访问控制。
说明

独享数据集成资源组保障的是数据同步实例可以同时运行的总线程数量,而非可以同时运行的数据同步实例本身。如果您需要保障可以同时运行的数据同步实例的数量,请购买独享调度资源组。

使用限制

  • 独享数据集成资源组的计费方式为包年包月,在资源组到期前不支持提前删除、释放资源组,资源组到期后会按照规定的时间停服、释放。
  • 独享数据集成资源组不支持跨地域使用。例如,华东2(上海)地域的独享数据集成资源组,只能给华东2(上海)地域的工作空间使用。
  • 独享数据集成资源组不支持访问阿里云经典网络。如果您的数据源处于经典网络环境中,建议您将数据源迁移至专有网络中。

性能指标

规格 离线同步最大并发线程数 单表实时同步最大任务数 整库多表实时同步最大任务数 分库分表实时同步最大任务数
4c8g 8 3 3 不支持
8c16g 16 6 6 1
12c24g 24 9 9 1
16c32g 32 12 12 2
24c48g 48 18 18 3
说明
  • 单表和整库多表实时同步最大任务:此数量仅做参考,因为实时同步任务个体配置差异较大,实际执行时不一定可以达到最大的任务数。具体请根据实际执行后任务资源占用情况来做判断。
  • 分库分表实时同步最大任务:当实时同步任务的源端配置了2个或2个以上数据库中的表,则至少需要13个并发才可以运行起来。即至少需要8c16g规格的资源组。

计费与相关操作

(1)计费说明

独享数据集成资源组的计费方式为包年包月,您可以根据自身需求选择合适的规格进行购买,不同规格的计费详情请参见:独享数据集成资源组计费说明:包年包月

(2)扩容与缩容

您可以根据业务需求选择购买独享资源组,指定购买资源组内机器规格、机器数量,购买完成后,您可以对资源组进行扩容或缩容操作,扩缩容操作步骤和注意事项请参见扩缩容操作

(3)规格变更(升降配)

如果当前独享资源组规格不符合实际需要,您可以针对该资源组进行规格变更。变更当前资源组的规格,资源组内所有机器的规格将统一变更,规格变更操步骤和注意事项请参见变更规格操作

(4)续费、停服与释放资源组

您可以在独享资源组临近到期时进行续费操作,或等待资源组到期后停服并自动释放资源。详情请参见到期说明及续费操作

使用独享数据集成资源组

了解上述独享数据集成资源的规格计费详情后,您可以选择购买合适的独享数据集成资源组并在数据集成任务中使用。从购买至使用,您需进行的主要操作流程如下:
  1. 购买独享资源组(创建订单)。
  2. 基于订单创建资源组。
  3. 绑定归属工作空间。
  4. 为独享资源组绑定专有网络。
  5. 添加白名单。
  6. 应用示例:独享数据集成资源组。
操作详情请参见:新增和使用独享数据集成资源组

网络连通方案

独享数据集成资源组与其他独享资源组类似,本质上为一组阿里云ECS实例,在数据集成任务运行时,需保障资源组与数据源之间的网络是连通的,且不会因为白名单等特殊安全访问设置阻断资源组与数据源之间的网络连通性。

独享数据集成资源组购买后,需绑定一个VPC网络,后续您可以根据数据源所在的网络环境情况来选择网络连通方案。详情请参见:选择网络连通方案

  • 网络连通方案
    数据源网络环境 网络连通方案
    数据源处于公网环境中 数据源与独享资源组绑定的VPC网络直连即可连通。
    数据源处于VPC网络中,且与独享资源组在同一地域 建议独享资源组与数据源绑定同一VPC,绑定后系统自动为您添加一条路由至整个VPC的路由,您绑定VPC的任意一个交换机,独享资源组与数据源的网络都可连通。
    数据源处于VPC网络中,且与独享资源组在不同地域 使用高速通道或VPN等将网络连通数据源与独享资源组绑定的VPC网络,并添加一条路由指向目标数据库IP,保障两个网络间网络可达。
    数据源处于IDC网络中 使用高速通道或VPN等将网络连通数据源与独享资源组绑定的VPC网络,并添加一条路由指向目标数据库IP,保障两个网络间网络可达。
    数据源处于经典网络中 独享资源组处于阿里云VPC网络,如果数据源处于经典网络环境中,则数据源与独享资源组间网络无法连通,建议您将数据源迁移至VPC网络中。
  • 白名单配置

    如果数据源设置有白名单限制访问地址时,您需要将独享资源组的访问地址添加至数据源的访问白名单中,避免访问受限。详情可参见使用独享数据集成资源组执行任务需要在数据库添加的IP白名单