通过向导模式配置任务

开发流程

1. 新建数据源。
2. 新建离线同步节点。
3. 选择数据来源。
4. 选择数据去向。
5. 配置字段的映射关系。
6. 配置作业速率上限、脏数据检查规则等信息。
7. 配置调度属性。

新建数据源

同步任务支持多种同构、异构数据源间的数据传输。首先，在工作空间管理 > 数据源页面，新增需要同步的数据源，详情请参见配置数据源。

新建业务流程

1. 登录DataWorks控制台。
2. 在左侧导航栏，单击工作空间列表。
3. 单击相应工作空间后的进入数据开发。
4. 在数据开发页面，鼠标悬停至图标，单击业务流程。
5. 在新建业务流程对话框，输入业务名称和描述。
   注意 业务名称必须是大小写字母、中文、数字、下划线（_）以及小数点（.），且不能超过128个字符。
6. 单击新建。

新建离线同步节点

1. 展开业务流程，右键单击数据集成。
2. 单击新建 > 离线同步。
3. 在新建节点对话框，输入节点名称，并选择目标文件夹。
   注意 节点名称必须是大小写字母、中文、数字、下划线（_）以及小数点（.），且不能超过128个字符。
4. 单击提交。

选择数据来源

新建离线同步节点后，首先需要配置离线同步节点的读取端数据源，以及需要同步的表等信息。

说明

• 选择读取端的数据源时，请参见配置Reader。
• 该对话框仅默认显示数据源中前25张表，如果数量过大，您可以输入表名进行搜索或使用脚本模式开发。
• 很多任务在配置读取端数据源时，需要进行数据增量同步。此时可以结合DataWorks提供的调度参数来获取相对日期，以完成获取增量数据的需求。

选择数据去向

配置字段的映射关系

选择数据来源和数据去向后，需要指定读取端和写入端列的映射关系。您可以选择同名映射、同行映射、取消映射或自动排版。

配置通道控制

配置完成上述操作后，需要进行通道控制。

参数	描述
任务期望最大并发数	离线同步任务内，可以从源并行读取或并行写入数据存储端的最大线程数。向导模式通过界面化配置并发数，指定任务所使用的并行度。
同步速率	设置同步速率可以保护读取端数据库，以避免抽取速度过大，给源库造成太大的压力。同步速率建议限流，结合源库的配置，请合理配置抽取速率。
错误记录数	错误记录数，表示脏数据的最大容忍条数。
任务资源组	任务运行的机器，如果任务数比较多，使用默认资源组出现等待资源的情况，建议购买独享数据集成资源或添加自定义资源组，详情请参见DataWorks独享资源和新增自定义资源组。

配置调度属性

离线同步节点中，经常需要使用调度参数进行数据过滤，下文将为您介绍如何在同步任务中配置调度参数。

进入离线同步节点的编辑页面，单击右侧的调度配置。

您可以通过${变量名}的方式声明调度参数变量。声明变量后，在调度的参数属性中输入变量的初始化值，此处变量初始化的值以$[]标识，其中的内容可以填写时间表达式或者一个常量。

例如，您在代码中输入${today}，在调度参数中赋值today=$[yyyymmdd]，则可以获取到当天的日期。如果需要对日期进行加减操作，请参见调度参数。

您可以设置离线同步节点的运行周期、运行时间和调度依赖等属性。由于离线同步节点是ETL工作的开始，所以没有上游节点，此时建议使用工作空间根节点作为上游。