数据集成支持分库分表。您可以在一个任务中配置多个数据源多张表后,同步至一个目标表中。
背景信息
配置分库分表同步时,请确保所有表的Schema与同步配置中第一个数据源的第一张表保持一致。
分库分表支持MySQL(支持向导模式)、SQL Server、Oracle、PostgreSQL、PolarDB和AnalyticDB等类型的数据源。
操作步骤
- 进入数据开发页面。
- 登录DataWorks控制台。
- 在左侧导航栏,单击工作空间列表。
- 选择工作空间所在地域后,单击相应工作空间后的进入数据开发。
- 创建离线同步节点。
- 鼠标悬停至
图标,单击。您也可以找到相应的业务流程,右键单击数据集成,选择。
- 在新建节点对话框中,输入节点名称,并选择目标文件夹。
说明 节点名称必须是大小写字母、中文、数字、下划线(_)和小数点(.),且不能超过128个字符。
- 单击提交。
- 配置离线同步节点。
您可以通过向导模式和脚本模式配置分库分表同步:
- 如果您通过向导模式配置分库分表同步,请单击数据来源区域的添加分库分表+,选择对应的数据源和表。详情请参见通过向导模式配置任务。

您还可以单击新建数据源进行新建,详情请参见配置MySQL数据源。
- 如果您通过脚本模式配置分库分表同步,示例如下。详情请参见通过脚本模式配置任务。
{
"type": "job",
"version": "1.0",
"configuration": {
"reader": {
"plugin": "mysql",
"parameter": {
"connection": [
{
"table": [ //分库分表的Table列表1
"tbl1",
"tbl2",
"tbl3"
],
"datasource": "datasourceName1" //分库分表的数据源1
},
{
"table": [ //分库分表的Table列表2
"tbl4",
"tbl5",
"tbl6"
],
"datasource": "datasourceName2" //分库分表的数据源2
}
],
"singleOrMulti": "multi",
"splitPk": "db_id",
"column": [
"id", "name", "age"
],
"where": "1 < id and id < 100"
}
},
"writer": {
}
}
}
- 提交节点。
注意 您需要设置节点的重跑属性和依赖的上游节点,才可以提交节点。
- 单击工具栏中的
图标。
- 在提交新版本对话框中,输入备注。
- 单击确认。
如果您使用的是标准模式的工作空间,提交成功后,请单击右上方的
发布。具体操作请参见
发布任务。
- 测试节点,详情请参见查看周期任务。