DataWorks为您提供自定义调度资源组和自定义数据集成资源组,以保证任务的调度灵活性和数据同步及时性。本文为您介绍如何新增自定义调度资源组,并修改任务运行的资源组。
前提条件
背景信息
自定义资源组和独享资源组的差异如下:
- 自定义资源组的机器完全可控、可登录访问,但需要您自行运维。
- 独享资源组的运维完全托管于系统,系统提供可用保障,您无需担心机器服务等问题。
调度资源组用于执行或分发调度系统下发的任务,DataWorks的调度资源组包括公共调度资源组和自定义调度资源组。
说明 默认情况下,您提交的调度任务均会运行在DataWorks提供的公共调度资源组上。
对于单个用户来说,公共资源组中的调度能力不能无限量承载不断增加的并发调度任务量。如果调度的任务瞬时并发数量过多,则会出现资源等待的情况,导致任务调度实际运行时间延迟。
如果您想要拥有更强的调度能力,请购买ECS配置自定义调度资源组。自定义资源组在使用、配置文件、命令等方面的常见问题和解决方案,请参见自定义资源组。