大数据开发治理平台 DataWorks：导出开源引擎任务

使用限制

导出Airflow任务仅支持Airflow 1.10.x，且依赖python 3.6及以上版本。

导出Oozie任务

导出要求

导出的文件需包含XML和配置项等信息，导出后即为一个Zip格式文件。

导出结构

Oozie的任务描述在HDFS的某个Path下。以Oozie官方的Examples为例，Examples包中的apps目录下，每个子目录都是一个Oozie的Workflow Job。该子目录包含Workflow的定义XML和配置项等信息。导出文件的结构如下。

导出Azkaban任务

下载工作流

Azkaban拥有自己的Web控制台，支持在界面下载某个工作流（Flow）。

1. 登录Azkaban控制台的Projects页面。
2. 进入相应的Project页面，单击Flows，为您展示该Project下所有的工作流。
3. 单击页面右上方的Download，下载Project的导出文件。
   Azkaban导出包的格式无特别限制，是原生Azkaban即可。导出的Zip文件包含Azkaban的某个Project下所有任务（Job）及其关系的信息。Azkaban页面导出的Zip文件可直接在调度引擎作业导入页面上传导入。

转换逻辑

导出Airflow任务

操作步骤

1. 进入Airflow的执行环境。
2. 使用Airflow的Python库，加载在Ariflow上调度的Dag Folder。Dag Folder为您的Dag Python文件所在的目录。
3. 使用导出工具，在内存中通过Airflow的Python库读取Dag Python文件的内部任务信息及其依赖关系，将生成的Dag信息写入JSON文件进行导出。
   您可进入DataWorks的迁移助手 > 任务上云 > 调度引擎作业导出页面，下载导出工具。进入调度引擎作业导出的步骤请参考进入引擎作业导出。

工具操作说明

1. 使用如下语句解压airflow-exporter.tgz。

   tar zxvf airflow-exporter.tgz

2. 设置PYTHONPATH为Airflow的Python lib目录。示例语句如下。

   export PYTHONPATH=/usr/local/lib/python3.6/site-packages

3. 导出Airflow任务。示例语句如下。

   cd airflow-exporter
   python3.6 ./parser -d /path/to/airflow/dag/floder/ -o output.json

4. 使用如下语句，将导出的output.json文件生成Zip文件。

   zip out.zip output.json

导出DolphinScheduler任务

原理介绍

DataWorks导出工具通过调用DolphinScheduler的批量导出工作流来定义API信息，获取DolphinScheduler工作流定义的JSON配置，生成一个Zip格式的文件。后续可在迁移助手 > 任务上云的调度引擎作业导入页面，新建DolphinScheduler类型的导入任务，导入Zip文件并进行解析和转换，将DolphinScheduler工作流任务的代码、依赖关系转换为合适的DataWorks任务文件配置。

使用限制

• 版本限制：仅支持使用1.3.x版本的DolphinScheduler导出DolphinScheduler任务。
• 转换限制：
  • SQL任务：仅支持转换部分引擎的SQL节点，具体请以实际使用为准。并且转换过程中SQL代码不做语法转换、不进行修改。
  • Cron表达式：部分场景存在表达式剪裁或表达式功能不支持等情况，您需自行检查调度配置的定时时间是否满足要求。调度时间介绍，详情请参见时间属性配置说明。
  • Python节点：DataWorks没有单独的Python节点，Python节点目前是转换为Python文件资源和一个调用该Python资源的Shell节点，调度参数传递可能存在问题，您需自行调试检查。调度参数介绍，详情请参见调度参数配置。
  • Depend节点：暂不支持转换跨周期依赖。定义的依赖属性转换为DataWorks同周期调度依赖的本节点输入、本节点输出。同周期依赖配置，详情请参见配置同周期调度依赖。

转换逻辑说明

DolphinScheduler转换项	DataWorks转换项	说明
工作流定义（Process）	业务流程	工作流内部的节点转换为DataWorks业务流程中的节点。同时，转换为业务流程后，会自动添加Start和End虚拟节点，作为业务流程内子节点的起始和结束节点。
SubProcess节点	虚拟节点	SubProcess节点所在的Process中，转换为DataWorks业务流程时会自动添加Start和End虚拟节点，作为SubProcess的起始和结束节点。 SubProcess节点本身转换为DataWorks的虚拟节点，Start节点会依赖该虚拟节点，原先SubProcess节点的下游节点均依赖End节点。
Conditions节点	归并节点	Conditions节点的依赖配置中，每一个依赖项和条件关系会转换为DataWorks的一个归并节点（Join）及相关逻辑。Conditions节点依赖配置的最外层逻辑关系会使用两个归并节点（Join）来判断是采用Success还是Failure路径处理。 说明 Conditions依赖配置的跨周期依赖暂不支持转换。若存在跨周期依赖，则会将其转换为DataWorks的同周期依赖关系。
Depend节点	虚拟节点	Depend节点的依赖关系会转换为虚拟节点调度配置中的本节点输入。本节点输入的拼接规则如下： {current_dataworks_project_name}.{dolphin_project_name}.{dolphin_process_name}.{dolphin_task_name}
SQL Task	目前支持映射为如下引擎的SQL类型节点： HIVE SPARK CLICKHOUSE POSTGRESQL	具体映射为哪种引擎节点，可在导入任务的高级设置进行配置。 说明 SQL代码不做语法转换、不进行修改。
Python节点	Python文件资源与调用该资源的Shell节点。	该过程调度参数传递可能会存在问题，您需自行调试检查。调度参数介绍，详情请参见调度参数配置。
MR	EMR MR节点 ODPS MR CDH MR节点	具体映射为哪种引擎节点，可在导入任务的高级设置进行配置。
Spark	EMR Spark CDH Spark	具体映射为哪种引擎节点，可在导入任务的高级设置进行配置。
Sqoop	脚本模式的数据集成离线同步任务。	同步任务的来源和去向数据源，请以实际使用为准。脚本模式同步任务配置详情，请参见通过脚本模式配置离线同步任务。
其他DataWorks不支持的节点	虚拟节点	无

环境准备

• 下载工具
• 依赖设置：您需使用1.8及以上JDK版本；2.7及以上Python版本。

导出操作

1. 解压导出工具。
   使用如下语句解压导出工具。

   $ tar xzvf migrationx-reader.zip
   $ cd migrationx-reader/

2. 创建DolphinScheduler生产API的调用令牌。
   创建详情，请参见DolphinScheduler帮助文档。
3. 导出文件。
   执行如下命令导出所需文件。

   $ python ./bin/reader.py -a dolphinscheduler -e http://dolphinschedulerhost:port -t token -v 1.3.9 -p project_name -f ds_dump.zip

导出其它开源引擎任务

DataWorks为您提供标准模板便于导出除Oozie、Azkaban、Airflow、DolphinScheduler外的开源引擎任务。导出任务前，您需要下载标准格式模板并参考模板的文件结构修改内容。下载模板及目录结构的介绍请进入开源引擎导出页面进行查询：

1. 进入数据开发页面。
   1. 登录DataWorks控制台。
   2. 在左侧导航栏，单击工作空间列表。
   3. 选择工作空间所在地域后，单击相应工作空间后的数据开发。
2. 单击左上方的图标，选择全部产品 > 其他 > 迁移助手。
3. 在左侧导航栏，单击任务上云 > 调度引擎作业导出，进入调度引擎导出方案选择页面。
4. 单击标准模板。
5. 在标准模板页签下，单击标准格式模板进行下载。
6. 根据模板中的格式修改内容后，即可生成导出包。