云原生大数据计算服务 MaxCompute - MaxCompute 外表OSS写入场景能力增强
Feb 08 2021
云原生大数据计算服务 MaxComputeMaxCompute支持使用 OSS Multi-upload 写 OSS 外表，数据直写到表目录下，不包含.odps 子目录。
适用客户
开发者，有导出数据需求的用户，有使用第三方引擎读取导出的数据需求的用户
新增功能/规格
MaxCompute支持使用OSS的分片上传（Multipart Upload）功能，在INSERT操作向OSS外部表写入数据时，提高写数据效率。 此外MaxCompute写入到OSS外部表的数据，会存储在LOCATION目录下的.odps文件夹中，并维护了一个.meta文件，用于保证MaxCompute数据的一致性。.odps文件夹中的内容只有MaxCompute能正确处理，其他引擎读取可能报错。 MaxCompute新增 odps.sql.unstructured.oss.commit.mode属性，设置为true时（默认为false），MaxCompute使用分片上传功能，且以two-phase commit的方式保证数据的一致性，同时也不会有.odps目录以及.meta文件，以便兼容其他数据处理引擎读取。