云原生大数据计算服务 MaxCompute：迁移ECS自建MySQL数据库至MaxCompute

操作步骤

1. 在DataWorks上创建MySQL数据源。
   1. 使用主账号登录DataWorks控制台。
   2. 在工作空间列表单击数据集成。
      
   3. 在左侧导航栏，单击数据源。
   4. 单击数据源管理页面的新增数据源。
   5. 在新增数据源页面，单击MySQL。
   6. 在新增MySQL数据源对话框中，配置各项参数，详情请参见配置MySQL数据源。
      本文以连接串模式为例，在JDBC URL处输入您刚刚记录的ECS私有地址和MySQL的默认端口号3306。

      说明 当前VPC环境下的自建MySQL数据源暂不支持测试连通性，因此连通性测试失败是正常现象。
   7. 单击相应资源组后的测试连通性。
      数据同步时，一个任务只能使用一种资源组。您需要在每种资源组上单独测试连通性，以保证同步任务使用的数据集成资源组能够与数据源连通，否则将无法正常执行数据同步任务。详情请参见配置资源组与网络连通。
   8. 测试连通性通过后，单击完成。
2. 创建MaxCompute表。
   您需要通过DataWorks创建一个表，用于接收来自MySQL的测试数据。
   1. 单击左上角的图标，选择全部产品 > DataStudio（数据开发）。
   2. 新建一个业务流程，详情请参见创建周期业务流程。
   3. 右键单击新建的业务流程，选择新建表 > MaxCompute > 表。
   4. 输入您的MaxCompute表名称，本例中使用和MySQL数据库表一样的名称good_sale。单击DDL后，输入您的建表语句并生成表结构。
      本例中使用的建表语句如下，请注意数据类型的转换。

      CREATE TABLE IF NOT EXISTS good_sale(
         create_time string,
         category STRING,
         brand STRING,
         buyer_id STRING,
         trans_num BIGINT,
         trans_amount DOUBLE,
         click_cnt BIGINT
         );

   5. 输入表的中文名后，单击提交到生产环境，完成MaxCompute表good_sale的创建。
      
3. 配置数据集成任务。
   1. 右键单击业务流程，选择新建节点 > 离线同步，创建一个数据集成任务。
   2. 选择您的数据来源为您刚添加的MySQl数据源，数据去向为默认MaxCompute数据源odps_first，单击转换脚本切换数据集成任务为脚本模式。
      此时，如果产生报错或您无法选择数据来源的表，都属于正常现象，直接转换为脚本模式即可。
   3. 单击页面右侧的数据集成资源组配置，选中已购买的独享资源组。
      如果未切换任务资源组为数据集成独享资源，后续您的任务将无法成功运行。
   4. 填写数据集成任务脚本内容如下。

      {
          "type": "job",
          "steps": [
              {
                  "stepType": "mysql",
                  "parameter": {
                      "column": [//源列名
                          "create_time",
                          "category",
                          "brand",
                          "buyer_id",
                          "trans_num",
                          "trans_amount",
                          "click_cnt"
                      ],
                      "connection": [
                          {
                              "datasource": "shuai",//源数据源
                              "table": [
                                  "good_sale"//源数据库表名，此处必须为方括号数组格式。
                              ]
                          }
                      ],
                      "where": "",
                      "splitPk": "",
                      "encoding": "UTF-8"
                  },
                  "name": "Reader",
                  "category": "reader"
              },
              {
                  "stepType": "odps",
                  "parameter": {
                      "partition": "",
                      "truncate": true,
                      "datasource": "odps_first",//目标数据源
                      "column": [//目标列名
                          "create_time",
                          "category",
                          "brand",
                          "buyer_id",
                          "trans_num",
                          "trans_amount",
                          "click_cnt"
                      ],
                      "emptyAsNull": false,
                      "table": "good_sale"//目标表名
                  },
                  "name": "Writer",
                  "category": "writer"
              }
          ],
          "version": "2.0",
          "order": {
              "hops": [
                  {
                      "from": "Reader",
                      "to": "Writer"
                  }
              ]
          },
          "setting": {
              "errorLimit": {
                  "record": "0"
              },
              "speed": {
                  "throttle": false,
                  "concurrent": 2
              }
          }
      }

   5. 单击运行，您可以在下方的运行日志查看数据是否已传输到MaxCompute。