全部产品
Search
文档中心

云原生大数据计算服务 MaxCompute:2021年

更新时间:Dec 26, 2023

本文为您介绍了MaxCompute 2021年内容更新的最新动态,基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更,提升项目开发效率。

2021年12月更新记录

时间

特性

类别

描述

产品文档

2021-12-22

重构湖仓一体。

更新说明

支持MaxCompute湖仓一体自助构建流程。

MaxCompute湖仓一体概述

2021年11月更新记录

时间

特性

类别

描述

产品文档

2021-11-29

新增Policy授权最佳实践。

新实践

支持基于Policy对具备内置角色的用户进行权限管理。

基于Policy对具备内置角色的用户进行权限管理

2021-11-29

MaxCompute开放租户级别的用户管理能力。

更新说明

支持通过MaxCompute控制台管理用户。

角色规划

2021-11-15

新增IP地址转换归属地最佳实践。

新实践

MaxCompute支持基于MaxCompute UDF将IPv4或IPv6地址转换为归属地。

基于MaxCompute UDF将IPv4或IPv6地址转换为归属地

2021-11-10

完善Python UDF上传及注册操作。

新说明

完成Python程序开发及调试后,您需要将Python程序以资源形式上传至MaxCompute项目后,才可以注册MaxCompute UDF。

上传及注册

2021-11-10

新增MaxCompute Studio可视化管理函数内容。

新说明

MaxCompute Studio的Project Explorer提供了可视化编辑器,可以帮助您快速在MaxCompute项目中注册自定义函数(MaxCompute UDF),并提供查看MaxCompute UDF实现代码、删除MaxCompute UDF的操作入口。

可视化管理函数

2021-11-08

补充日期函数、数学函数、窗口函数和聚合函数输入参数值为NULL的描述。

更新说明

补充日期函数、数学函数、窗口函数和聚合函数输入参数值为NULL的描述。

2021-11-03

支持清空分区表的分区数据。

新说明

MaxCompute支持通过条件筛选方式清空分区数据。如果您希望一次性删除符合某个规则条件的一个或多个分区,可以使用表达式指定筛选条件,通过筛选条件匹配分区并批量清空分区数据。

清空分区数据

2021-11-02

新增MaxCompute Studio可视化管理资源内容。

新说明

MaxCompute Studio的Project Explorer提供了可视化编辑器,可以帮助您快速在MaxCompute项目中添加注册MaxCompute UDF所需的资源,例如表、JAR包、PY脚本或压缩包等,并提供获取及删除资源的入口。

可视化管理资源

2021年10月更新记录

时间

特性

类别

描述

产品文档

2021-10-26

支持清空分区表的分区数据。

新说明

MaxCompute支持通过条件筛选方式清空分区数据。如果您希望一次性删除符合某个规则条件的一个或多个分区,可以使用表达式指定筛选条件,通过筛选条件匹配分区并批量清空分区数据。

分区和列操作

2021-10-19

新增日期数据格式转换最佳实践。

新实践

新增STRING、TIMESTAMP、DATETIME互相转换实践案例。

日期数据格式转换:STRING、TIMESTAMP、DATETIME互相转换

2021年9月更新记录

时间

特性

类别

描述

产品文档

2021-09-30

MaxCompute UDF内容整改。

更新说明

重构MaxCompute UDF目录结构及内容结构,按照UDF、UDTF、UDAF进行整改并补充示例及常见问题。

MaxCompute UDF概述

2021-09-22

网络开通流程处理方式变更,从提工单变更为填写表单。

更新说明

网络开通流程处理方式变更,从提工单变更为填写表单。

网络开通流程

2021-09-16

新增商业智能BI工具连接MaxCompute操作指导。

新说明

MaxCompute支持连接商业智能BI工具以图表形式展现数据分析结果。

2021-09-16

新增数据库管理工具连接MaxCompute操作指导。

新说明

MaxCompute支持连接数据库管理工具管理MaxCompute项目。

2021-09-15

新增日期函数DATE_SUB。

新说明

按照指定的幅度增减天数,与DATE_ADD逻辑相反。

DATE_SUB

2021-09-15

补充Spark Java示例。

更新说明

补充Spark Java示例。

2021年8月更新记录

时间

特性

类别

描述

产品文档

2021-08-26

数学函数新增CORR函数。

新说明

支持计算两列数据的皮尔逊系数。

数学函数

2021-08-20

聚合函数语法变更。

更新说明

增加聚合函数语法模块,提供语法详细说明。

聚合函数

2021-08-19

其他函数下新增HASH、COMPRESS、DECOMPRESS、NULLIF、FORMAT_NUMBER、SHA、SHA1、SHA2、CRC32函数。

新说明

  • HASH:对输入的参数进行散列运算,返回一个HASH值。

  • COMPRESS:对输入的字符串,按照GZIP算法进行压缩。

  • DECOMPRESS:对于BINARY类型的输入,使用GZIP算法进行解压缩。

  • NULLIF:如果expr1和expr2的值相等,返回NULL;否则返回expr1。

  • FORMAT_NUMBER:将数字转化为指定格式的字符串。

  • SHA:计算字符串或者二进制的SHA-1哈希值,并将值以十六进制字符串返回。

  • SHA1:计算字符串或者二进制的SHA-1哈希值,并将值以十六进制字符串返回。

  • SHA2:计算字符串或者二进制的SHA-2系列哈希值(支持SHA-224,SHA-256,SHA-384和SHA-512)。

  • CRC32:计算字符串或者二进制的循环冗余校验值。

其他函数

2021-08-19

日期函数新增TO_MILLIS函数。

新说明

将指定日期转换为以毫秒为单位的UNIX时间戳。

日期与时间函数

2021-08-18

起售CU数量变更。

更新说明

MaxCompute的CU起售数量从10 CU变更为50 CU。

计费项与计费方式概述

2021-08-11

UPDATE、DELETE和MERGE INTO功能商业化。

更新说明

自2021年8月10日起,MaxCompute SQL的UPDATE、DELETE和MERGE INTO功能结束免费公测,开始正式计费。已经使用UPDATE、DELETE和MERGE INTO功能的按量计费作业,届时会产生计算费用。如果您之前因为担心公测稳定性问题而暂未使用UPDATE、DELETE和MERGE INTO功能,届时可以放心使用。MaxCompute为UPDATE、DELETE和MERGE INTO功能的相关可用性、稳定性等提供与MaxCompute SQL能力同等的保障。

2021-08-10

新增复杂类型函数。

新功能

MaxCompute支持处理MAP、ARRAY、STRUCT等复杂类型数据,提供多种函数支持多样化数据处理。

复杂类型函数

2021-08-04

新增ETL工具连接MaxCompute操作指导。

新说明

MaxCompute支持连接ETL工具管理MaxCompute项目。

2021-08-02

in/not in subqueryscalar subquery支持多列。

更新说明

兼容PostgreSQL支持多列的需求。

子查询(SUBQUERY)

2021年6月更新记录

时间

特性

类别

描述

产品文档

2021-06-07

数据集成导入导出数据内容整改。

更新说明

重构数据集成导入导出数据内容。

2021年5月更新记录

时间

特性

类别

描述

产品文档

2021-05-31

准备工作内容整改。

更新说明

重构准备工作流程及内容。

准备工作

2021-05-31

快速入门内容整改。

更新说明

按照工具展示快速入门操作。

快速入门

2021年3月更新记录

时间

特性

类别

描述

产品文档

2021-03-25

补全MaxCompute错误码列表信息。

更新说明

完善MaxCompute错误码列表。

2021-03-16

建表语法支持指定列的NOT NULL属性。

更新说明

禁止该列的值为NULL。

表操作

2021-03-16

新增FROM_JSON和TO_JSON函数。

新说明

FROM_JSON函数可以将JSON转换成MaxCompute的数据类型,或提取JSON中的信息,根据JSON字符串jsonStr和schema信息,返回ARRAY、MAP或STRUCT类型。TO_JSON函数可以将给定的复杂类型ARRAY、MAP或STRUCT,以JSON字符串格式输出。

字符串函数

2021-03-16

支持Transactional表的ACID属性。

新功能

Transactional表的ACID特性在MaxCompute并发写操作的ACID特性基础上新增了新特性。

ACID语义

2021-03-12

MaxCompute管家支持SQL持续空输出和全表扫描推荐。

新功能

MaxCompute支持定期检查并列出持续执行空输出或全表扫描的TOP级SQL周期任务。如果有该类型任务,列表中会显示最近一次执行的Instance ID,建议您检查作业并进行优化,避免产生不必要的资源消耗。

MaxCompute管家

2021-03-12

支持列级别权限控制。

更新说明

对表列级别进行权限控制。

MaxCompute权限

2021-03-12

支持通过属性打开或关闭Download权限。

更新说明

开启或关闭该功能,需要Project Owner或具备Super_Administrator角色的用户在Project级别配置属性。

Policy权限控制

2021-03-01

新增MaxCompute湖仓一体功能。

新功能

MaxCompute提供湖仓一体方案,该方案可以打破数据湖与数据仓库割裂的体系,并将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合,助力构建数据湖和数据仓库相融合的数据管理平台。

MaxCompute湖仓一体概述

2021年2月更新记录

时间

特性

类别

描述

产品文档

2021-02-23

新增Python 2 UDTF使用示例。

新示例

新增Python 2 UDTF读取MaxCompute资源示例。

UDF开发规范与通用流程(Python2)

2021-02-23

新增Python 3 UDTF使用示例。

新示例

新增Python 3 UDTF读取MaxCompute资源示例。

UDF开发规范与通用流程(Python3)

2021-02-23

新增Spark作业引用外部文件描述。

新说明

新增Spark作业引用外部文件描述。

搭建Linux开发环境

2021-02-20

新增UDTF与Lateral View结合的使用示例。

新示例

新增UDTF与Lateral View结合的使用示例。

UDTF使用说明

2021-02-09

补充清除用户权限描述。

新说明

补充清除用户权限描述。

用户规划与管理

2021-02-07

删除VALUES中只能使用常量的限制。

更新说明

删除VALUES中只能使用常量的限制。

VALUES

2021-02-07

OSS外部表支持分片上传功能。

新说明

支持使用OSS的分片上传(Multipart Upload)功能通过INSERT操作向OSS外部表写入数据。

将数据写入OSS

2021-02-07

新增array_intersect函数,修改sort_array函数。

新说明

新增array_intersect,用于计算两个array的交集。sort_array增加isAsc参数,对给定数组排序时让用户选择是升序还是降序,默认是升序。

其他函数

2021-02-07

新增过滤条件表达式和count_if函数。

新说明

增加过滤条件表达式支持,可以对select子句中某个聚合函数指定过滤条件,便于您在同一个聚合语句中单独控制某个聚合函数的数据范围。新增count_if函数对满足if条件的记录进行计数。

聚合函数

2021-02-07

增强日期函数datedatediffdatepartdatetrunc对DATE、TIMESTAMP日期数据类型的支持。

新说明

增强日期函数datedatediffdatepartdatetrunc对DATE、TIMESTAMP日期数据类型的支持。

日期与时间函数

2021-02-07

新增base64unbase64parse_url函数。

新说明

新增字符串函数parse_url对URL进行解析;新增base64unbase64函数实现二进制和BASE64格式字符串互转。

字符串函数

2021-02-07

MaxCompute命令行支持关闭表头显示,便于Shell调用。

新说明

在Shell(或Windows命令行)执行窗口,用户可能需要使用odpscmd -e SQL语句执行得到的动态返回值,Shell的变量会获取这个动态返回值,然后在Shell中执行后续作业。此场景需要返回值不包含运行信息、表头等额外信息。您可以通过set odps.sql.select.output.format={needHeader:false,fieldDelim:""};关闭表头显示,将计算结果stdout部分输出到目标句柄。

使用本地客户端(odpscmd)连接

2021-02-07

MaxCompute支持通过UNLOAD命令把数据导出到OSS外部存储。

新功能

MaxCompute支持通过UNLOAD命令导出数据到OSS,方便用户使用OSS存储结构化数据,并方便用户使用OSS上其他计算引擎处理和分析MaxCompute导出的数据。

UNLOAD

2021-02-07

支持SkewJoin Hint。

新功能

当两张表Join存在热点,导致出现长尾问题时,您可以通过提取热点key,将数据分为热点数据和非热点数据两部分处理,最后合并的方式,提高Join效率。SkewJoin Hint可以通过自动或手动方式获取两张表的热点key,分别计算热点数据和非热点数据的Join结果并合并,加快Join的执行速度。

SKEWJOIN HINT

2021-02-07

MaxCompute外部表支持通过JDBC方式读写MC-Hologres。

新功能

MaxCompute外部表支持使用数据库JDBC驱动机制访问MC-Hologres数据源数据。您可以使用在MaxCompute上创建MC-Hologres外部表的方式,基于PostgreSQL JDBC驱动查询MC-Hologres数据源的数据。该方式无冗余存储,无需导入导出数据,可实现快速获取查询结果。当前读写MC-Hologres外部表处于公测阶段,不收取计算费用,也暂时不保证SLA。

Hologres外部表

2021-02-01

新增Mars v0.6.3版本变更记录。

新说明

新增Mars v0.6.3版本变更记录。

版本更新记录

2021年1月更新记录

时间

特性

类别

描述

产品文档

2021-01-21

get_json_object函数返回行为变更。

更新说明

新建MaxCompute项目的get_json_object函数的默认返回行为由JSON保留字符转义的方式变更为保留原始字符串的方式

GET_JSON_OBJECT

2021-01-19

SELECT目录整改并优化内容。

更新说明

调整SELECT模块内容并完善命令示例。

SELECT语法

2021-01-05

新增数据迁移目录。

新说明

数据上传下载及迁移工具内容调整到新增目录。

数据上传下载