在任务高并发执行且无法错峰运行的情况下,需要专有的计算资源来保障任务定时被调度运行时,建议您选择使用DataWorks的独享调度资源组。本文为您概要介绍独享调度资源组。

适用场景

  • 对任务时效性要求高,避免公共资源组资源争抢导致任务延时。
  • 需要灵活调整资源组大小。
  • 需要访问公网地址、VPC、IDC。
  • 需要通过IP白名单进行访问控制。
  • DataWorks某些任务类型仅支持独享资源组,包括EMR、CDH、ADB等。

使用限制

  • 独享调度资源组的购买计费类型为包年包月,在资源组到期前不支持提前删除、释放资源组,资源组到期后会按照规定的时间停服、释放。
  • 独享调度资源组不支持跨地域使用。例如,华东2(上海)地域的独享调度资源组,只能给华东2(上海)地域的工作空间使用。
  • 同一独享资源组下同规格资源数购买上限为20个。
  • 独享调度资源组不支持执行yum命令。

性能指标

规格 最大并发运行实例数
4c8g 16
8c16g 32
12c24g 48
16c32g 64
24c48g 96

计费与相关操作

(1)计费说明

独享调度资源组的计费方式为包年包月,您可以根据自身需求选择合适的规格进行购买,不同规格的计费详情请参见独享调度资源组计费说明:包年包月

(2)扩容与缩容

您可以根据业务需求选择购买独享资源组,指定购买资源组内机器规格、机器数量,购买完成后,您可以对资源组进行扩容或缩容操作,扩缩容操作步骤和注意事项请参见扩缩容操作

(3)规格变更(升降配)

如果当前独享资源组规格不符合实际需要,您可以针对该资源组进行规格变更。变更当前资源组的规格,资源组内所有机器的规格将统一变更,规格变更操步骤和注意事项请参见变更规格操作

(4)续费、停服与释放资源组

您可以在独享资源组临近到期时进行续费操作,或等待资源组到期后停服并自动释放资源。详情请参见到期说明及续费操作

使用独享调度资源组

了解上述独享调度资源的规格计费详情后,您可以选择购买合适的独享调度资源组并在数据集成、数据开发等任务中使用。从购买至使用,您需进行的主要操作流程如下:
  1. 购买独享资源组。
  2. 添加资源组至DataWorks控制台。
  3. 绑定工作空间。
  4. (可选)为独享资源组绑定专有网络。
  5. (可选)添加白名单。
  6. 应用示例:独享调度资源组。
操作详情请参见新增和使用独享调度资源组

网络连通方案

独享调度资源组与其他资源组类似,本质上为一组阿里云ECS实例,在进行数据开发等任务运行时,需保障资源组与数据源之间的网络是连通的,且不会因为白名单等特殊安全访问设置阻断资源组与数据源之间的网络连通性。
说明 如果独享调度资源组的应用过程中,不涉及与数据源的交互,则不涉及独享调度资源组与数据源间的网络连通问题,独享调度资源组购买后即可直接使用,无需考虑网络的相关影响。
独享调度资源组购买后,需绑定一个VPC网络,后续您可以根据数据源所在的网络环境情况来选择网络连通方案。
  • 网络连通方案
    数据源网络环境 网络连通方案
    数据源处于公网环境中 数据源与独享资源组绑定的VPC网络直连即可连通。
    数据源处于VPC网络中,且与独享资源组在同一地域 建议独享资源组与数据源绑定同一VPC,绑定后系统自动为您添加一条路由至整个VPC的路由,您绑定VPC的任意一个交换机,独享资源组与数据源的网络都可连通。
    数据源处于VPC网络中,且与独享资源组在不同地域 使用高速通道或VPN等将网络连通数据源与独享资源组绑定的VPC网络,并添加一条路由指向目标数据库IP,保障两个网络间网络可达。
    数据源处于IDC网络中 使用高速通道或VPN等将网络连通数据源与独享资源组绑定的VPC网络,并添加一条路由指向目标数据库IP,保障两个网络间网络可达。
    数据源处于经典网络中 独享资源组处于阿里云VPC网络,如果数据源处于经典网络环境中,则数据源与独享资源组间网络无法连通,建议您将数据源迁移至VPC网络中。
  • 白名单配置

    如果数据源设置有白名单限制访问地址时,您需要将独享资源组的访问地址添加至数据源的访问白名单中,避免访问受限。详情可参见使用独享数据集成资源组执行任务需要在数据库添加的IP白名单