大数据开发治理平台 DataWorks：MaxCompute数据源

MaxCompute Reader针对MaxCompute的类型转换列表，如下所示。

类型分类	数据集成配置类型	数据库数据类型
整数类	LONG	BIGINT、INT、TINYINT和SMALLINT
布尔类	BOOLEAN	BOOLEAN
日期时间类	DATE	DATETIME、TIMESTAMP和DATE
浮点类	DOUBLE	FLOAT、DOUBLE和DECIMAL
二进制类	BYTES	BINARY
复杂类	STRING	ARRAY、MAP和STRUCT

您可以使用Project Owner账号在客户端执行以下命令开启acid属性，关于MaxCompute ACID语义说明，详情请参见ACID语义。

setproject odps.sql.acid.table.enable=true;

如果需要使用MaxCompute数据2.0类型中的timestamp类型，您需要使用Project Owner账号在客户端执行以下命令开启数据2.0。

setproject odps.sql.type.system.odps2=true;

工作空间绑定MaxCompute引擎时，默认将在DataWorks生成一个MaxCompute数据源，在当前工作空间可使用该默认引擎数据源进行数据同步，若您需要在其他空间同步当前工作空间的MaxCompute数据源，您需要创建Accesskey ID和Accesskey Secret，以便在其他工作空间创建数据源并使用该数据源时，可基于您的身份访问该引擎数据。

• 创建个人Accesskey ID和Accesskey Secret，操作详情请参见准备阿里云账号。
• 创建MaxCompute数据源，详情请参见配置MaxCompute数据源。

在进行数据同步任务开发时，您需要在DataWorks上绑定MaxCompute引擎，并创建一个对应的数据源。绑定MaxCompute引擎时您可以选择自动创建一个默认的MaxCompute数据源。

• 当您为DataWorks工作空间绑定MaxCompute计算引擎时，DataWorks将自动基于您MaxCompute计算引擎绑定信息，在数据源配置界面新增该计算引擎数据源。此外，您也可以将其他MaxCompute项目添加为当前工作空间数据源，以便同步读取数据时使用，操作流程请参见创建与管理数据源。
• DataWorks工作空间绑定第一个MaxCompute引擎时，DataWorks在数据源管理页面自动生成的默认的数据源名为odps_first。若再次为工作空间额外再绑定一个MaxCompute引擎实例时，DataWorks仍会为您新建MaxCompute计算引擎数据源，此时，为区别第一个引擎数据源，后添加的引擎其数据源命名格式为0_regionId_引擎名称。
• 默认添加的计算引擎数据源，其对应的MaxCompute项目名称，均为当前工作空间绑定的MaxCompute计算引擎项目名称。您可以前往工作空间管理页面，查看计算引擎绑定信息。若要修改工作空间计算引擎绑定信息，请确认无运行中的任务（包括数据集成或数据开发等一切和DataWorks相关的任务），查看MaxCompute计算引擎信息，详情请参见绑定MaxCompute引擎。

{
    "type":"job",
    "version":"2.0",
    "steps":[
        {
            "stepType":"odps",//插件名。
            "parameter":{
                "partition":[],//读取数据所在的分区。
                "isCompress":false,//是否压缩。
                "datasource":"",//数据源。
                "column":[//源头表的列信息。
                    "id"
                ],
                "emptyAsNull":true,
                "table":""//表名。
            },
            "name":"Reader",
            "category":"reader"
        },
        { 
            "stepType":"stream",
            "parameter":{
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//错误记录数。
        },
        "speed":{
            "throttle":true,//当throttle值为false时，mbps参数不生效，表示不限流；当throttle值为true时,表示限流。
            "concurrent":1, //作业并发数。
            "mbps":"12"//限流
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

如果您需要指定MaxCompute的Tunnel Endpoint，可以通过脚本模式手动配置数据源。将上述示例中的"datasource":"",替换为数据源的具体参数，示例如下。

"accessId":"*******************",
"accessKey":"*******************",
"endpoint":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api",
"odpsServer":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api", 
"tunnelServer":"http://dt.eu-central-1.maxcompute.aliyun.com", 
"project":"*****", 

脚本配置样例如下。

{
    "type":"job",
    "version":"2.0",//版本号。
    "steps":[
        {
            "stepType":"stream",
            "parameter":{},
            "name":"Reader",
            "category":"reader"
        },
        {
            "stepType":"odps",//插件名。
            "parameter":{
                "partition":"",//分区信息。
                "truncate":true,//清理规则。
                "compress":false,//是否压缩。
                "datasource":"odps_first",//数据源名。
            "column": [//源端列名。
                "id",
                "name",
                "age",
                "sex",
                "salary",
                "interest"
                ],
                "emptyAsNull":false,//空字符串是否作为null。
                "table":""//表名。
            },
            "name":"Writer",
            "category":"writer"
        }
    ],
    "setting":{
        "errorLimit":{
            "record":"0"//错误记录数，表示脏数据的最大容忍条数。
        },
        "speed":{
            "throttle":true,//当throttle值为false时，mbps参数不生效，表示不限流；当throttle值为true时,表示限流。
            "concurrent":1, //作业并发数。
            "mbps":"12"//限流
        }
    },
    "order":{
        "hops":[
            {
                "from":"Reader",
                "to":"Writer"
            }
        ]
    }
}

如果您需要指定MaxCompute的Tunnel Endpoint，可以通过脚本模式手动配置数据源：将上述示例中的"datasource":"",替换为数据源的具体参数，示例如下。

"accessId":"<yourAccessKeyId>",
 "accessKey":"<yourAccessKeySecret>",
 "endpoint":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api",
 "odpsServer":"http://service.eu-central-1.maxcompute.aliyun-inc.com/api", 
"tunnelServer":"http://dt.eu-central-1.maxcompute.aliyun.com", 
"project":"**********",