数据集成导入导出数据

1. 新建向导模式的同步任务。
2. 选择来源。

   选择MySQL数据源及源头表mytest，数据浏览默认是收起的，选择后单击下一步。

3. 选择目标。

   目标即MaxCompute（原ODPS），表可以是提前创建，也可以在此处单击快速建表。

   配置项说明：

   • 分区信息：必须指定到最后一级分区。例如把数据写入一个三级分区表，必须配置到最后一级分区，例如pt=20150101，type=1，biz=2。非分区表无此项配置。
   • 清理规则：
     • 写入前清理已有数据：导数据之前，清空表或者分区的所有数据，相当于insert overwrite。
     • 写入前保留已有数据：导数据之前不清理任何数据，每次运行数据都是追加进去的，相当于insert into。
4. 映射字段。

   选择字段的映射关系。需对字段映射关系进行配置，左侧源头表字段和右侧目标表字段为一一对应的关系。

5. 通道控制。

   单击下一步，配置作业速率上限和脏数据检查规则。

   配置项说明如下：

   • 作业速率上限：是指数据同步作业可能达到的最高速率，其最终实际速率受网络环境、数据库配置等的影响。
   • 作业并发数：从单同步作业来看，作业并发数*单并发的传输速率=作业传输总速率。
   当作业速率上限已选定的情况下，应该如何选择作业并发数？

   • 如果您的数据源是线上的业务库，建议您不要将并发数设置过大，以防对线上库造成影响。
   • 如果您对数据同步速率特别在意，建议您选择最大作业速率上限和较大的作业并发数。
6. 预览保存。

   完成上述配置后，上下滚动鼠标可查看任务配置，如若无误，单击保存。

{
  "type": "job",
  "version": "1.0",
  "configuration": {
    "reader": {
      "plugin": "mysql",
      "parameter": {
        "datasource": "mysql",
        "where": "",
        "splitPk": "id",
        "connection": [
          {
            "table": [
              "person"
            ],
            "datasource": "mysql"
          }
        ],
        "connectionTable": "person",
        "column": [
          "id",
          "name"
        ]
      }
    },
    "writer": {
      "plugin": "odps",
      "parameter": {
        "datasource": "odps_first",
        "table": "a1",
        "truncate": true,
        "partition": "pt=${bdp.system.bizdate}",
        "column": [
          "id",
          "col1"
        ]
      }
    },
    "setting": {
      "speed": {
        "mbps": "1",
        "concurrent": "1"
      }
    }
  }
}