在做离线同步时,我们需要先了解哪些DataWorks及其网络能力?

做数据集成同步前,您需要非常了解以下信息:
  • 需要同步的数据库所在的VPC,Vswitch,地域(Region)等信息和DataWorks所在地域(Region)情况。
  • 需要同步的数据库和DataWroks是否存在跨账号,跨region等特殊情况。
如果在任务同步时遇到问题,您可以先参考 支持的数据源与读写插件,进行自助排查。

如果您在数据源测试连通性时遇到问题,您可以先根据选择网络连通方案文档,选择对应的解决方案进行排查。

在使用独享数据集成资源组时,需按照以下流程操作:购买资源组、绑定数据库网络连通的专有网络、评估是否添加路由、数据库白名单配置、独享资源组绑定所属工作空间。详情请参见新增和使用独享数据集成资源组

同步ECS自建的数据库的数据时,如何保障数据库与DataWorks的网络连通?

如果您需要使用独享数据集成资源组通过内网同步ECS自建的数据库,您需要为独享数据集成资源组做相关的网络配置,详情可参见 新增和使用独享数据集成资源组,连通方案核心点为:

数据库和DataWorks不在同一个地域(Region)下,进行数据同步时如何保障数据库与DataWorks的网络连通?

操作前,您可以先根据 选择网络连通方案文档,选择对应的网络连通解决方案,连通方案核心点为:。

数据库和DataWorks不在同一个阿里云账号下,进行数据同步时如何保障数据库与DataWorks的网络连通?

操作前,您可以先根据 选择网络连通方案文档,选择对应的解决方案进行排查。

访问VPC环境下的数据库测试连通性失败,该如何处理?

已经购买独享资源组,但在数据源测试连通性时或任务执行时找不到该资源组怎么办?

请确认独享资源组已经绑定DataWorks工作空间。详情请参见:绑定归属工作空间

如何通过日志查看任务执行在什么资源组类型上?

  • 任务运行在默认的资源组上,日志中会出现如下信息:running in Pipeline[basecommon_ group_xxxxxxxxx]
  • 任务运行在数据集成自定义资源组上,日志中会出现如下信息:running in Pipeline[basecommon_xxxxxxxxx]
  • 任务运行在独享数据集成资源上,日志中会出现如下信息:running in Pipeline[basecommon_S_res_group_xxx]

如何切换任务在调度系统中执行所用的资源组

  • 在生产运维中心切换任务执行使用的调度资源组和数据集成任务执行资源组:切換资源组
  • 在数据开发界面走发布流程修改生产环境任务执行使用的资源组。
    说明 以下方式修改资源组请记得发布,标准模式下提交操作生效范围是开发环境,发布后操作才会在生产环境周期任务自动调度时才会生效,发布后您可以在生产运维中心周期任务检查资源组修改是否生效。
    1. 修改任务调度使用的资源组: 数据开发修改调度资源组
    2. 修改数据集成任务执行资源组: 数据开发修改任务执行资源组

如何排查自定义调度资源组等待gateway?

登录DataWorks控制台,在左侧导航栏,单击资源组列表,进入自定义资源组页签。 单击任务使用的调度资源后的服务器管理,查看服务器的状态是否停止,或是否被其它任务占用。

如果以上排查无法解决问题,请执行下述命令重启服务。
su - admin /home/admin/alisatasknode/target/alisatasknode/bin/serverctl restart