调度迁移功能快速入门
场景概述
本文提供通过LHM进行调度迁移的功能入门指引,LHM可以实现开源(Dolphin、Azkaban、Ozzio等)、其他云(华为DataArts、腾讯Wedata等)、DataWorks跨空间等调度任务迁移到DataWorks工作空间。本文以一个DolphinScheduler调度为例,展示如何快速进行调度配置。
通过本文,您可以:
熟悉Dolphin Scheduler的调度迁移方式。
了解LHM进行调度迁移的整体流程和实现方式。
使用的阿里云产品
前置准备
已部署 DolphinScheduler 并创建了待迁移的项目和工作流
已完成 DataWorks 资源组、工作空间的开通与绑定
按照下述流程完成 LHM 资源组与服务代理的设置
资源组与服务代理管理
LHM运行依赖DataWorks资源组,请先完成资源组的开通与绑定。

按图示顺序完成服务代理的安装。
注:服务代理安装需要为RAM用户授予AliyunECSAssistantFullAccess权限,或者分别授予ecs:DescribeInvocations、ecs:DescribeCloudAssistantStatus、ecs:RunCommand权限。

操作步骤
新建源端调度数据源
按图示顺序完成源端调度数据源的创建。

在跳出的侧边栏中填写调度数据源信息,并进行连通性测试,测试通过后点击确定,完成调度数据源新建。

参数 | 说明 |
数据源名称 | 仅支持英文字母、数字和下划线,不支持中文及其他特殊字符 |
数据源类型 | 数据源需要连接的调度器 |
版本 | 调度器的版本 |
数据源配置 | 上传文件:reader工具导出的格式 数据源连接配置:白屏化配置数据源连接 |
连接地址 | DolphinScheduler控制台的地址前缀,格式为http://{您的DolphinScheduler地址}:{端口号} |
令牌 | DolphinScheduler的令牌,下文有如何在白屏化中获取令牌的方法。 |
项目名称 | DolphinScheduler的项目名称,下文有如何在白屏化中获取项目名称的方式。 |
连接地址

令牌获取方式
令牌获取方式如下,请注意令牌所属用户的权限:

项目名称获取方式

若因网络原因无法连接调度数据源API,可通过上传Project文件的方式建立离线调度数据源。

调度数据源创建成功。可通过右侧按钮进行连通测试、编辑调度数据源信息。
新建目标端调度数据源
参照上一小节的方式新建目标端调度数据源。DataWorks数据源需设置DataWorks工作空间的endpoint、工作空间名,以及对该空间有读写权限的AccessKey ID 和 AccessKey Secret。
杭州公网endpoint:dataworks.cn-hangzhou.aliyuncs.com
杭州地域内网endpoint:dataworks-vpc.cn-hangzhou.aliyuncs.com
其他地域请修改地址中的地域字段,例如上海地域将 cn-hangzhou 替换为 cn-shanghai。
新建数据源探查任务
按图示步骤新建探查任务。


创建完返回列表页。该探查任务默认每日零点定时执行。如需手动执行,请点击操作栏的“更多”按钮,点击“立即执行”。也可在该界面执行编辑任务、查看历史实例、移除任务等操作。

点击执行后等待一段时间。执行完成后,“元数据快照”按钮将变为可点击状态,点击后进入如下探查结果页面。

检查探查结果是否正确。确认无误后进入到调度迁移步骤。
新建调度迁移任务
在调度迁移页新建调度迁移任务。

填写基础信息,请注意,源端数据源需要处于探查成功的状态。

待转换清单确认。可在此界面进行SQL转换配置。

黑白名单配置。如无需要,默认点击下一步即可。

转换&提交设置。其中目标端的DataWorks工作空间和调度资源组必填,其他项如无需要采用默认配置即可,确认无误后最后点击完成按钮。

在列表页对刚创建的任务点击执行转换按钮。

点击历史实例按钮以查看转换进度/日志。

查看转换报告。

转换报告页面。

前述操作执行成功后,回到列表页,点击执行提交,将workflow写入DataWorks的目标工作空间中。

切换到“提交任务历史实例”页签,查看提交报告。

最后在DataWorks工作空间中可以看到迁移完成后的工作流效果。

Q&A
1、调度数据源创建时报错agent is not active
原因: 服务代理未启动。
解决方案: 参考前置准备章节,安装服务代理。
2、集群探查时启动了探查任务但是无响应
现象: 在调度数据源探查列表页,对数据源点击“立即执行”后,虽然弹窗显示任务已提交执行,但是当前任务状态始终为空(正常情况应显示运行中)。
原因: 可能是未绑定资源组。
解决方案: 确认是否正确绑定了资源组,参考前置准备章节。
注:完成上述问题排查后,正常状态如下图所示。
