本文为您介绍了MaxCompute 2021年内容更新的最新动态,基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更,提升项目开发效率。

2021年12月更新记录

时间 特性 类别 描述 产品文档
2021-12-22 重构湖仓一体。 更新说明 支持MaxCompute湖仓一体自助构建流程。 MaxCompute湖仓一体
2021-12-06 重构数据可视化展示内容。 更新说明 重构搭建互联网在线运营分析平台数据可视化展示内容。 数据可视化展示

2021年11月更新记录

时间 特性 类别 描述 产品文档
2021-11-29 新增Policy授权最佳实践。 新实践 支持基于Policy对具备内置角色的用户进行权限管理。 基于Policy对具备内置角色的用户进行权限管理
2021-11-29 MaxCompute开放租户级别的用户管理能力。 更新说明 支持通过MaxCompute控制台管理用户。 角色规划
2021-11-15 新增IP地址转换归属地最佳实践。 新实践 MaxCompute支持基于MaxCompute UDF将IPv4或IPv6地址转换为归属地。 基于MaxCompute UDF将IPv4或IPv6地址转换为归属地
2021-11-10 完善Python UDF上传及注册操作。 新说明 完成Python程序开发及调试后,您需要将Python程序以资源形式上传至MaxCompute项目后,才可以注册MaxCompute UDF。 上传及注册
2021-11-10 新增MaxCompute Studio可视化管理函数内容。 新说明 MaxCompute Studio的Project Explorer提供了可视化编辑器,可以帮助您快速在MaxCompute项目中注册自定义函数(MaxCompute UDF),并提供查看MaxCompute UDF实现代码、删除MaxCompute UDF的操作入口。 可视化管理函数
2021-11-08 补充日期函数、数学函数、窗口函数和聚合函数输入参数值为NULL的描述。 更新说明 补充日期函数、数学函数、窗口函数和聚合函数输入参数值为NULL的描述。
2021-11-03 支持清空分区表的分区数据。 新说明 MaxCompute支持通过条件筛选方式清空分区数据。如果您希望一次性删除符合某个规则条件的一个或多个分区,可以使用表达式指定筛选条件,通过筛选条件匹配分区并批量清空分区数据。 清空分区数据
2021-11-02 新增MaxCompute Studio可视化管理资源内容。 新说明 MaxCompute Studio的Project Explorer提供了可视化编辑器,可以帮助您快速在MaxCompute项目中添加注册MaxCompute UDF所需的资源,例如表、JAR包、PY脚本或压缩包等,并提供获取及删除资源的入口。 可视化管理资源

2021年10月更新记录

时间 特性 类别 描述 产品文档
2021-10-26 支持清空分区表的分区数据。 新说明 MaxCompute支持通过条件筛选方式清空分区数据。如果您希望一次性删除符合某个规则条件的一个或多个分区,可以使用表达式指定筛选条件,通过筛选条件匹配分区并批量清空分区数据。 分区和列操作
2021-10-19 新增日期数据格式转换最佳实践。 新实践 新增STRING、TIMESTAMP、DATETIME互相转换实践案例。 日期数据格式转换:STRING、TIMESTAMP、DATETIME互相转换

2021年9月更新记录

时间 特性 类别 描述 产品文档
2021-09-30 MaxCompute UDF内容整改。 更新说明 重构MaxCompute UDF目录结构及内容结构,按照UDF、UDTF、UDAF进行整改并补充示例及常见问题。 MaxCompute UDF概述
2021-09-22 网络开通流程处理方式变更,从提工单变更为填写表单。 更新说明 网络开通流程处理方式变更,从提工单变更为填写表单。 网络开通流程
2021-09-16 新增商业智能BI工具连接MaxCompute操作指导。 新说明 MaxCompute支持连接商业智能BI工具以图表形式展现数据分析结果。
2021-09-16 新增数据库管理工具连接MaxCompute操作指导。 新说明 MaxCompute支持连接数据库管理工具管理MaxCompute项目。
2021-09-15 新增日期函数DATE_SUB。 新说明 按照指定的幅度增减天数,与DATE_ADD逻辑相反。 DATE_SUB
2021-09-15 补充Spark Java示例。 更新说明 补充Spark Java示例。

2021年8月更新记录

时间 特性 类别 描述 产品文档
2021-08-26 数学函数新增CORR函数。 新说明 支持计算两列数据的皮尔逊系数。 数学函数
2021-08-20 聚合函数语法变更。 更新说明 增加聚合函数语法模块,提供语法详细说明。 聚合函数
2021-08-19 其他函数下新增HASH、COMPRESS、DECOMPRESS、NULLIF、FORMAT_NUMBER、SHA、SHA1、SHA2、CRC32函数。 新说明
  • HASH:对输入的参数进行散列运算,返回一个HASH值。
  • COMPRESS:对输入的字符串,按照GZIP算法进行压缩。
  • DECOMPRESS:对于BINARY类型的输入,使用GZIP算法进行解压缩。
  • NULLIF:如果expr1和expr2的值相等,返回NULL;否则返回expr1。
  • FORMAT_NUMBER:将数字转化为指定格式的字符串。
  • SHA:计算字符串或者二进制的SHA-1哈希值,并将值以十六进制字符串返回。
  • SHA1:计算字符串或者二进制的SHA-1哈希值,并将值以十六进制字符串返回。
  • SHA2:计算字符串或者二进制的SHA-2系列哈希值(支持SHA-224,SHA-256,SHA-384和SHA-512)。
  • CRC32:计算字符串或者二进制的循环冗余校验值。
其他函数
2021-08-19 日期函数新增TO_MILLIS函数。 新说明 将指定日期转换为以毫秒为单位的UNIX时间戳。 日期函数
2021-08-18 起售CU数量变更。 更新说明 MaxCompute的CU起售数量从10 CU变更为50 CU。 计费项与计费方式概述
2021-08-11 UPDATE、DELETE和MERGE INTO功能商业化。 更新说明 自2021年8月10日起,MaxCompute SQL的UPDATE、DELETE和MERGE INTO功能结束免费公测,开始正式计费。已经使用UPDATE、DELETE和MERGE INTO功能的按量计费作业,届时会产生计算费用。如果您之前因为担心公测稳定性问题而暂未使用UPDATE、DELETE和MERGE INTO功能,届时可以放心使用。MaxCompute为UPDATE、DELETE和MERGE INTO功能的相关可用性、稳定性等提供与MaxCompute SQL能力同等的保障。
2021-08-10 新增复杂类型函数。 新功能 MaxCompute支持处理MAP、ARRAY、STRUCT等复杂类型数据,提供多种函数支持多样化数据处理。 复杂类型函数
2021-08-04 新增ETL工具连接MaxCompute操作指导。 新说明 MaxCompute支持连接ETL工具管理MaxCompute项目。
2021-08-02 in/not in subqueryscalar subquery支持多列。 更新说明 兼容PostgreSQL支持多列的需求。 子查询(SUBQUERY)

2021年6月更新记录

时间 特性 类别 描述 产品文档
2021-06-07 数据集成导入导出数据内容整改。 更新说明 重构数据集成导入导出数据内容。

2021年5月更新记录

时间 特性 类别 描述 产品文档
2021-05-31 准备工作内容整改。 更新说明 重构准备工作流程及内容。 准备工作
2021-05-31 快速入门内容整改。 更新说明 按照工具展示快速入门操作。 快速入门

2021年3月更新记录

时间 特性 类别 描述 产品文档
2021-03-25 补全MaxCompute错误码列表信息。 更新说明 完善MaxCompute错误码列表。
2021-03-16 建表语法支持指定列的NOT NULL属性。 更新说明 禁止该列的值为NULL。 表操作
2021-03-16 新增FROM_JSON和TO_JSON函数。 新说明 FROM_JSON函数可以将JSON转换成MaxCompute的数据类型,或提取JSON中的信息,根据JSON字符串jsonStr和schema信息,返回ARRAY、MAP或STRUCT类型。TO_JSON函数可以将给定的复杂类型ARRAY、MAP或STRUCT,以JSON字符串格式输出。 字符串函数
2021-03-16 支持Transactional表的ACID属性。 新功能 Transactional表的ACID特性在MaxCompute并发写操作的ACID特性基础上新增了新特性。 ACID语义
2021-03-12 MaxCompute管家支持SQL持续空输出和全表扫描推荐。 新功能 MaxCompute支持定期检查并列出持续执行空输出或全表扫描的TOP级SQL周期任务。如果有该类型任务,列表中会显示最近一次执行的Instance ID,建议您检查作业并进行优化,避免产生不必要的资源消耗。 MaxCompute管家
2021-03-12 支持列级别权限控制。 更新说明 对表列级别进行权限控制。 MaxCompute权限
2021-03-12 支持通过属性打开或关闭Download权限。 更新说明 开启或关闭该功能,需要Project Owner或具备Super_Administrator角色的用户在Project级别配置属性。 Policy权限控制
2021-03-01 新增MaxCompute湖仓一体功能。 新功能 MaxCompute提供湖仓一体方案,该方案可以打破数据湖与数据仓库割裂的体系,并将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合,助力构建数据湖和数据仓库相融合的数据管理平台。 MaxCompute湖仓一体

2021年2月更新记录

时间 特性 类别 描述 产品文档
2021-02-23 新增Python 2 UDTF使用示例。 新示例 新增Python 2 UDTF读取MaxCompute资源示例。 Python 2 UDF
2021-02-23 新增Python 3 UDTF使用示例。 新示例 新增Python 3 UDTF读取MaxCompute资源示例。 Python 3 UDF
2021-02-23 新增Spark作业引用外部文件描述。 新说明 新增Spark作业引用外部文件描述。 搭建开发环境
2021-02-20 新增UDTF与Lateral View结合的使用示例。 新示例 新增UDTF与Lateral View结合的使用示例。 UDTF使用说明
2021-02-09 补充清除用户权限描述。 新说明 补充清除用户权限描述。 用户规划与管理
2021-02-07 删除VALUES中只能使用常量的限制。 更新说明 删除VALUES中只能使用常量的限制。 VALUES
2021-02-07 OSS外部表支持分片上传功能。 新说明 支持使用OSS的分片上传(Multipart Upload)功能通过INSERT操作向OSS外部表写入数据。 将数据写入OSS
2021-02-07 新增array_intersect函数,修改sort_array函数。 新说明 新增array_intersect,用于计算两个array的交集。sort_array增加isAsc参数,对给定数组排序时让用户选择是升序还是降序,默认是升序。 其他函数
2021-02-07 新增过滤条件表达式和count_if函数。 新说明 增加过滤条件表达式支持,可以对select子句中某个聚合函数指定过滤条件,便于您在同一个聚合语句中单独控制某个聚合函数的数据范围。新增count_if函数对满足if条件的记录进行计数。 聚合函数
2021-02-07 增强日期函数datedatediffdatepartdatetrunc对DATE、TIMESTAMP日期数据类型的支持。 新说明 增强日期函数datedatediffdatepartdatetrunc对DATE、TIMESTAMP日期数据类型的支持。 日期函数
2021-02-07 新增base64unbase64parse_url函数。 新说明 新增字符串函数parse_url对URL进行解析;新增base64unbase64函数实现二进制和BASE64格式字符串互转。 字符串函数
2021-02-07 MaxCompute命令行支持关闭表头显示,便于Shell调用。 新说明 在Shell(或Windows命令行)执行窗口,用户会可能需要使用odpscmd -e SQL语句执行得到的动态返回值,Shell的变量会获取这个动态返回值,然后在Shell中执行后续作业。此场景需要返回值不包含运行信息、表头等额外信息。您可以通过set odps.sql.select.output.format={needHeader:false,fieldDelim:""};关掉表头显示,将计算结果stdout部分输出到目标句柄。 使用客户端(odpscmd)连接
2021-02-07 MaxCompute支持通过UNLOAD命令把数据导出到OSS外部存储。 新功能 MaxCompute支持通过UNLOAD命令导出数据到OSS,方便用户使用OSS存储结构化数据,并方便用户使用OSS上其他计算引擎处理和分析MaxCompute导出的数据。 UNLOAD
2021-02-07 支持SkewJoin Hint。 新功能 当两张表Join存在热点,导致出现长尾问题时,您可以通过取出热点key,将数据分为热点数据和非热点数据两部分处理,最后合并的方式,提高Join效率。SkewJoin Hint可以通过自动或手动方式获取两张表的热点key,分别计算热点数据和非热点数据的Join结果并合并,加快Join的执行速度。 SKEWJOIN HINT
2021-02-07 MaxCompute外部表支持通过JDBC方式读写MC-Hologres。 新功能 MaxCompute外部表支持使用数据库JDBC驱动机制访问MC-Hologres数据源数据。您可以使用在MaxCompute上创建MC-Hologres外部表的方式,基于PostgreSQL JDBC驱动查询MC-Hologres数据源的数据。该方式无冗余存储,无需导入导出数据,可实现快速获取查询结果。当前读写MC-Hologres外部表处于公测阶段,不收取计算费用,也暂时不保证SLA。 Hologres外部表
2021-02-01 新增Mars v0.6.3版本变更记录。 新说明 新增Mars v0.6.3版本变更记录。 版本更新记录

2021年1月更新记录

时间 特性 类别 描述 产品文档
2021-01-21 get_json_object函数返回行为变更。 更新说明 新建MaxCompute项目的get_json_object函数的默认返回行为由JSON保留字符转义的方式变更为保留原始字符串的方式 GET_JSON_OBJECT
2021-01-19 SELECT目录整改并优化内容。 更新说明 调整SELECT模块内容并完善命令示例。 SELECT语法
2021-01-05 新增数据迁移目录。 新说明 数据上传下载及迁移工具内容调整到新增目录。 数据上传下载