DolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统,能高效地执行和管理大数据处理流程。您可以使用DolphinScheduler调度云原生数据仓库 AnalyticDB MySQL 版的XIHE SQL任务,提高数据处理的效率。
前提条件
-
已安装DolphinScheduler。具体操作,请参见DolphinScheduler官方文档。
-
已在 DolphinScheduler安装目录中 配置MySQL驱动程序 ,且MySQL驱动程序为8.0.0及以上版本。下载链接,请参见mysql-connector-java。
-
已将运行DolphinScheduler的服务器IP地址添加至AnalyticDB for MySQL集群的白名单中。具体操作,请参见白名单。
操作步骤
-
创建数据源。
-
访问DolphinScheduler Web界面,在顶部导航栏单击源中心。
-
单击创建源,选择源类型为MYSQL。
-
在弹出的创建数据源对话框中配置如下参数:
参数
说明
数据源
选择为MYSQL。
源名称
数据源名称。
IP主机名
AnalyticDB for MySQL集群的连接地址。可通过控制台集群信息页面,查看连接信息。
端口
AnalyticDB for MySQL集群的端口号,固定为3306。
用户名
AnalyticDB for MySQL集群的数据库账号。
数据库名
AnalyticDB for MySQL集群的数据库名称。
说明其他参数为选填参数,详情请参见MySQL数据源。
-
单击测试连接,测试成功后,单击确定。
-
-
创建项目。
-
在顶部导航栏单击项目管理。
-
单击创建项目。
-
在弹出的创建项目对话框中配置项目名称、所属用户等参数。详情请参见创建项目。
-
-
创建工作流。
-
单击已创建的项目名称,进入工作流定义页面。
-
单击创建工作流,进入工作流DAG编辑页面。
-
在页面左侧选择SQL,并将其拖拽到右侧空白画布中。
-
在弹出的当前节点设置对话框中配置如下参数:
参数
说明
数据源类型
选择为MySQL。
数据源实例
选择步骤1创建的数据源。
SQL类型
SQL作业的类型,例如查询、非查询。
SQL语句
业务具体的SQL语句。
-
单击确认。
-
单击页面右上角保存,在弹出的基本信息对话框中配置工作流名称等参数。
-
单击确定。
-
-
运行工作流。
-
单击工作流操作列的
按钮,上线工作流。 -
单击工作流操作列的
按钮。 -
在弹出的启动前请先设置参数对话框中,配置对应参数。
-
单击确定,运行工作流。
-
-
查看工作流详细信息。
-
在左侧导航栏单击任务实例。
-
在 操作 列,单击
按钮
,查看工作流执行结果和日志信息
。
-