调度迁移功能快速入门

更新时间:
复制 MD 格式

场景概述

本文提供通过LHM进行调度迁移的功能入门指引,LHM可以实现开源(Dolphin、Azkaban、Ozzio等)、其他云(华为DataArts、腾讯Wedata等)、DataWorks跨空间等调度任务迁移到DataWorks工作空间。本文以一个DolphinScheduler调度为例,展示如何快速进行调度配置。

通过本文,您可以:

  • 熟悉Dolphin Scheduler的调度迁移方式。

  • 了解LHM进行调度迁移的整体流程和实现方式。

使用的阿里云产品

前置准备

  • 已部署 DolphinScheduler 并创建了待迁移的项目和工作流

  • 已完成 DataWorks 资源组、工作空间的开通与绑定

  • 按照下述流程完成 LHM 资源组与服务代理的设置

资源组与服务代理管理

LHM运行依赖DataWorks资源组,请先完成资源组的开通与绑定。

image.png

按图示顺序完成服务代理的安装。

注:服务代理安装需要为RAM用户授予AliyunECSAssistantFullAccess权限,或者分别授予ecs:DescribeInvocations、ecs:DescribeCloudAssistantStatus、ecs:RunCommand权限。

image.png

操作步骤

新建源端调度数据源

按图示顺序完成源端调度数据源的创建。

image.png

在跳出的侧边栏中填写调度数据源信息,并进行连通性测试,测试通过后点击确定,完成调度数据源新建。

参数

说明

数据源名称

仅支持英文字母、数字和下划线,不支持中文及其他特殊字符

数据源类型

数据源需要连接的调度器

版本

调度器的版本

数据源配置

上传文件:reader工具导出的格式

数据源连接配置:白屏化配置数据源连接

连接地址

DolphinScheduler控制台的地址前缀,格式为http://{您的DolphinScheduler地址}:{端口号}

令牌

DolphinScheduler的令牌,下文有如何在白屏化中获取令牌的方法。

项目名称

DolphinScheduler的项目名称,下文有如何在白屏化中获取项目名称的方式。

连接地址

image.png

令牌获取方式

令牌获取方式如下,请注意令牌所属用户的权限:

image.png

项目名称获取方式

若因网络原因无法连接调度数据源API,可通过上传Project文件的方式建立离线调度数据源。

调度数据源创建成功。可通过右侧按钮进行连通测试、编辑调度数据源信息。

新建目标端调度数据源

参照上一小节的方式新建目标端调度数据源。DataWorks数据源需设置DataWorks工作空间的endpoint、工作空间名,以及对该空间有读写权限的AccessKey ID 和 AccessKey Secret。

杭州公网endpoint:dataworks.cn-hangzhou.aliyuncs.com

杭州地域内网endpoint:dataworks-vpc.cn-hangzhou.aliyuncs.com

其他地域请修改地址中的地域字段,例如上海地域将 cn-hangzhou 替换为 cn-shanghai。

新建数据源探查任务

按图示步骤新建探查任务。

image.png

image.png

创建完返回列表页。该探查任务默认每日零点定时执行。如需手动执行,请点击操作栏的“更多”按钮,点击“立即执行”。也可在该界面执行编辑任务、查看历史实例、移除任务等操作。

image.png

点击执行后等待一段时间。执行完成后,“元数据快照”按钮将变为可点击状态,点击后进入如下探查结果页面。

image.png

检查探查结果是否正确。确认无误后进入到调度迁移步骤。

新建调度迁移任务

在调度迁移页新建调度迁移任务。

image.png

填写基础信息,请注意,源端数据源需要处于探查成功的状态。

image.png

待转换清单确认。可在此界面进行SQL转换配置。

image.png

黑白名单配置。如无需要,默认点击下一步即可。

image.png

转换&提交设置。其中目标端的DataWorks工作空间和调度资源组必填,其他项如无需要采用默认配置即可,确认无误后最后点击完成按钮。

image.png

在列表页对刚创建的任务点击执行转换按钮。

image.png

点击历史实例按钮以查看转换进度/日志。

image.png

查看转换报告。

image.png

转换报告页面。

image.png

前述操作执行成功后,回到列表页,点击执行提交,将workflow写入DataWorks的目标工作空间中。

image.png

切换到“提交任务历史实例”页签,查看提交报告。

image.png

最后在DataWorks工作空间中可以看到迁移完成后的工作流效果。

image.png

Q&A

1、调度数据源创建时报错agent is not active

原因: 服务代理未启动。

解决方案: 参考前置准备章节,安装服务代理。

2、集群探查时启动了探查任务但是无响应

现象: 在调度数据源探查列表页,对数据源点击“立即执行”后,虽然弹窗显示任务已提交执行,但是当前任务状态始终为空(正常情况应显示运行中)。

原因: 可能是未绑定资源组。

解决方案: 确认是否正确绑定了资源组,参考前置准备章节。

注:完成上述问题排查后,正常状态如下图所示。