本文为您介绍了MaxCompute 2021年内容更新的最新动态，基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更，提升项目开发效率。
2021年12月更新记录
| 时间 | 特性 | 类别 | 描述 | 产品文档 |
|---|---|---|---|---|
| 2021-12-22 | 重构湖仓一体。 | 更新说明 | 支持MaxCompute湖仓一体自助构建流程。 | MaxCompute湖仓一体 |
| 2021-12-06 | 重构数据可视化展示内容。 | 更新说明 | 重构搭建互联网在线运营分析平台数据可视化展示内容。 | 数据可视化展示 |
2021年11月更新记录
| 时间 | 特性 | 类别 | 描述 | 产品文档 |
|---|---|---|---|---|
| 2021-11-29 | 新增Policy授权最佳实践。 | 新实践 | 支持基于Policy对具备内置角色的用户进行权限管理。 | 基于Policy对具备内置角色的用户进行权限管理 |
| 2021-11-29 | MaxCompute开放租户级别的用户管理能力。 | 更新说明 | 支持通过MaxCompute控制台管理用户。 | 角色规划 |
| 2021-11-15 | 新增IP地址转换归属地最佳实践。 | 新实践 | MaxCompute支持基于MaxCompute UDF将IPv4或IPv6地址转换为归属地。 | 基于MaxCompute UDF将IPv4或IPv6地址转换为归属地 |
| 2021-11-10 | 完善Python UDF上传及注册操作。 | 新说明 | 完成Python程序开发及调试后，您需要将Python程序以资源形式上传至MaxCompute项目后，才可以注册MaxCompute UDF。 | 上传及注册 |
| 2021-11-10 | 新增MaxCompute Studio可视化管理函数内容。 | 新说明 | MaxCompute Studio的Project Explorer提供了可视化编辑器，可以帮助您快速在MaxCompute项目中注册自定义函数（MaxCompute UDF），并提供查看MaxCompute UDF实现代码、删除MaxCompute UDF的操作入口。 | 可视化管理函数 |
| 2021-11-08 | 补充日期函数、数学函数、窗口函数和聚合函数输入参数值为NULL的描述。 | 更新说明 | 补充日期函数、数学函数、窗口函数和聚合函数输入参数值为NULL的描述。 | |
| 2021-11-03 | 支持清空分区表的分区数据。 | 新说明 | MaxCompute支持通过条件筛选方式清空分区数据。如果您希望一次性删除符合某个规则条件的一个或多个分区，可以使用表达式指定筛选条件，通过筛选条件匹配分区并批量清空分区数据。 | 清空分区数据 |
| 2021-11-02 | 新增MaxCompute Studio可视化管理资源内容。 | 新说明 | MaxCompute Studio的Project Explorer提供了可视化编辑器，可以帮助您快速在MaxCompute项目中添加注册MaxCompute UDF所需的资源，例如表、JAR包、PY脚本或压缩包等，并提供获取及删除资源的入口。 | 可视化管理资源 |
2021年10月更新记录
| 时间 | 特性 | 类别 | 描述 | 产品文档 |
|---|---|---|---|---|
| 2021-10-26 | 支持清空分区表的分区数据。 | 新说明 | MaxCompute支持通过条件筛选方式清空分区数据。如果您希望一次性删除符合某个规则条件的一个或多个分区，可以使用表达式指定筛选条件，通过筛选条件匹配分区并批量清空分区数据。 | 分区和列操作 |
| 2021-10-19 | 新增日期数据格式转换最佳实践。 | 新实践 | 新增STRING、TIMESTAMP、DATETIME互相转换实践案例。 | 日期数据格式转换：STRING、TIMESTAMP、DATETIME互相转换 |
2021年9月更新记录
| 时间 | 特性 | 类别 | 描述 | 产品文档 |
|---|---|---|---|---|
| 2021-09-30 | MaxCompute UDF内容整改。 | 更新说明 | 重构MaxCompute UDF目录结构及内容结构，按照UDF、UDTF、UDAF进行整改并补充示例及常见问题。 | MaxCompute UDF概述 |
| 2021-09-22 | 网络开通流程处理方式变更，从提工单变更为填写表单。 | 更新说明 | 网络开通流程处理方式变更，从提工单变更为填写表单。 | 网络开通流程 |
| 2021-09-16 | 新增商业智能BI工具连接MaxCompute操作指导。 | 新说明 | MaxCompute支持连接商业智能BI工具以图表形式展现数据分析结果。 | |
| 2021-09-16 | 新增数据库管理工具连接MaxCompute操作指导。 | 新说明 | MaxCompute支持连接数据库管理工具管理MaxCompute项目。 | |
| 2021-09-15 | 新增日期函数DATE_SUB。 | 新说明 | 按照指定的幅度增减天数，与DATE_ADD逻辑相反。 | DATE_SUB |
| 2021-09-15 | 补充Spark Java示例。 | 更新说明 | 补充Spark Java示例。 |
2021年8月更新记录
| 时间 | 特性 | 类别 | 描述 | 产品文档 |
|---|---|---|---|---|
| 2021-08-26 | 数学函数新增CORR函数。 | 新说明 | 支持计算两列数据的皮尔逊系数。 | 数学函数 |
| 2021-08-20 | 聚合函数语法变更。 | 更新说明 | 增加聚合函数语法模块，提供语法详细说明。 | 聚合函数 |
| 2021-08-19 | 其他函数下新增HASH、COMPRESS、DECOMPRESS、NULLIF、FORMAT_NUMBER、SHA、SHA1、SHA2、CRC32函数。 | 新说明 |
|
其他函数 |
| 2021-08-19 | 日期函数新增TO_MILLIS函数。 | 新说明 | 将指定日期转换为以毫秒为单位的UNIX时间戳。 | 日期函数 |
| 2021-08-18 | 起售CU数量变更。 | 更新说明 | MaxCompute的CU起售数量从10 CU变更为50 CU。 | 计费项与计费方式概述 |
| 2021-08-11 | UPDATE、DELETE和MERGE INTO功能商业化。 | 更新说明 | 自2021年8月10日起，MaxCompute SQL的UPDATE、DELETE和MERGE INTO功能结束免费公测，开始正式计费。已经使用UPDATE、DELETE和MERGE INTO功能的按量计费作业，届时会产生计算费用。如果您之前因为担心公测稳定性问题而暂未使用UPDATE、DELETE和MERGE INTO功能，届时可以放心使用。MaxCompute为UPDATE、DELETE和MERGE INTO功能的相关可用性、稳定性等提供与MaxCompute SQL能力同等的保障。 | |
| 2021-08-10 | 新增复杂类型函数。 | 新功能 | MaxCompute支持处理MAP、ARRAY、STRUCT等复杂类型数据，提供多种函数支持多样化数据处理。 | 复杂类型函数 |
| 2021-08-04 | 新增ETL工具连接MaxCompute操作指导。 | 新说明 | MaxCompute支持连接ETL工具管理MaxCompute项目。 | |
| 2021-08-02 | in/not in subquery及scalar subquery支持多列。
|
更新说明 | 兼容PostgreSQL支持多列的需求。 | 子查询（SUBQUERY） |
2021年6月更新记录
| 时间 | 特性 | 类别 | 描述 | 产品文档 |
|---|---|---|---|---|
| 2021-06-07 | 数据集成导入导出数据内容整改。 | 更新说明 | 重构数据集成导入导出数据内容。 |
2021年5月更新记录
| 时间 | 特性 | 类别 | 描述 | 产品文档 |
|---|---|---|---|---|
| 2021-05-31 | 准备工作内容整改。 | 更新说明 | 重构准备工作流程及内容。 | 准备工作 |
| 2021-05-31 | 快速入门内容整改。 | 更新说明 | 按照工具展示快速入门操作。 | 快速入门 |
2021年3月更新记录
| 时间 | 特性 | 类别 | 描述 | 产品文档 |
|---|---|---|---|---|
| 2021-03-25 | 补全MaxCompute错误码列表信息。 | 更新说明 | 完善MaxCompute错误码列表。 | |
| 2021-03-16 | 建表语法支持指定列的NOT NULL属性。 | 更新说明 | 禁止该列的值为NULL。 | 表操作 |
| 2021-03-16 | 新增FROM_JSON和TO_JSON函数。 | 新说明 | FROM_JSON函数可以将JSON转换成MaxCompute的数据类型，或提取JSON中的信息，根据JSON字符串jsonStr和schema信息，返回ARRAY、MAP或STRUCT类型。TO_JSON函数可以将给定的复杂类型ARRAY、MAP或STRUCT，以JSON字符串格式输出。 | 字符串函数 |
| 2021-03-16 | 支持Transactional表的ACID属性。 | 新功能 | Transactional表的ACID特性在MaxCompute并发写操作的ACID特性基础上新增了新特性。 | ACID语义 |
| 2021-03-12 | MaxCompute管家支持SQL持续空输出和全表扫描推荐。 | 新功能 | MaxCompute支持定期检查并列出持续执行空输出或全表扫描的TOP级SQL周期任务。如果有该类型任务，列表中会显示最近一次执行的Instance ID，建议您检查作业并进行优化，避免产生不必要的资源消耗。 | MaxCompute管家 |
| 2021-03-12 | 支持列级别权限控制。 | 更新说明 | 对表列级别进行权限控制。 | MaxCompute权限 |
| 2021-03-12 | 支持通过属性打开或关闭Download权限。 | 更新说明 | 开启或关闭该功能，需要Project Owner或具备Super_Administrator角色的用户在Project级别配置属性。 | Policy权限控制 |
| 2021-03-01 | 新增MaxCompute湖仓一体功能。 | 新功能 | MaxCompute提供湖仓一体方案，该方案可以打破数据湖与数据仓库割裂的体系，并将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力构建数据湖和数据仓库相融合的数据管理平台。 | MaxCompute湖仓一体 |
2021年2月更新记录
| 时间 | 特性 | 类别 | 描述 | 产品文档 |
|---|---|---|---|---|
| 2021-02-23 | 新增Python 2 UDTF使用示例。 | 新示例 | 新增Python 2 UDTF读取MaxCompute资源示例。 | Python 2 UDF |
| 2021-02-23 | 新增Python 3 UDTF使用示例。 | 新示例 | 新增Python 3 UDTF读取MaxCompute资源示例。 | Python 3 UDF |
| 2021-02-23 | 新增Spark作业引用外部文件描述。 | 新说明 | 新增Spark作业引用外部文件描述。 | 搭建开发环境 |
| 2021-02-20 | 新增UDTF与Lateral View结合的使用示例。 | 新示例 | 新增UDTF与Lateral View结合的使用示例。 | UDTF使用说明 |
| 2021-02-09 | 补充清除用户权限描述。 | 新说明 | 补充清除用户权限描述。 | 用户规划与管理 |
| 2021-02-07 | 删除VALUES中只能使用常量的限制。 | 更新说明 | 删除VALUES中只能使用常量的限制。 | VALUES |
| 2021-02-07 | OSS外部表支持分片上传功能。 | 新说明 | 支持使用OSS的分片上传（Multipart Upload）功能通过INSERT操作向OSS外部表写入数据。 | 将数据写入OSS |
| 2021-02-07 | 新增array_intersect函数，修改sort_array函数。
|
新说明 | 新增array_intersect，用于计算两个array的交集。sort_array增加isAsc参数，对给定数组排序时让用户选择是升序还是降序，默认是升序。
|
其他函数 |
| 2021-02-07 | 新增过滤条件表达式和count_if函数。
|
新说明 | 增加过滤条件表达式支持，可以对select子句中某个聚合函数指定过滤条件，便于您在同一个聚合语句中单独控制某个聚合函数的数据范围。新增count_if函数对满足if条件的记录进行计数。
|
聚合函数 |
| 2021-02-07 | 增强日期函数date、datediff、datepart、datetrunc对DATE、TIMESTAMP日期数据类型的支持。
|
新说明 | 增强日期函数date、datediff、datepart、datetrunc对DATE、TIMESTAMP日期数据类型的支持。
|
日期函数 |
| 2021-02-07 | 新增base64、unbase64和parse_url函数。
|
新说明 | 新增字符串函数parse_url对URL进行解析；新增base64和unbase64函数实现二进制和BASE64格式字符串互转。
|
字符串函数 |
| 2021-02-07 | MaxCompute命令行支持关闭表头显示，便于Shell调用。 | 新说明 | 在Shell（或Windows命令行）执行窗口，用户会可能需要使用odpscmd -e SQL语句执行得到的动态返回值，Shell的变量会获取这个动态返回值，然后在Shell中执行后续作业。此场景需要返回值不包含运行信息、表头等额外信息。您可以通过set odps.sql.select.output.format={needHeader:false,fieldDelim:""};关掉表头显示，将计算结果stdout部分输出到目标句柄。
|
使用客户端（odpscmd）连接 |
| 2021-02-07 | MaxCompute支持通过UNLOAD命令把数据导出到OSS外部存储。 | 新功能 | MaxCompute支持通过UNLOAD命令导出数据到OSS，方便用户使用OSS存储结构化数据，并方便用户使用OSS上其他计算引擎处理和分析MaxCompute导出的数据。 | UNLOAD |
| 2021-02-07 | 支持SkewJoin Hint。 | 新功能 | 当两张表Join存在热点，导致出现长尾问题时，您可以通过取出热点key，将数据分为热点数据和非热点数据两部分处理，最后合并的方式，提高Join效率。SkewJoin Hint可以通过自动或手动方式获取两张表的热点key，分别计算热点数据和非热点数据的Join结果并合并，加快Join的执行速度。 | SKEWJOIN HINT |
| 2021-02-07 | MaxCompute外部表支持通过JDBC方式读写MC-Hologres。 | 新功能 | MaxCompute外部表支持使用数据库JDBC驱动机制访问MC-Hologres数据源数据。您可以使用在MaxCompute上创建MC-Hologres外部表的方式，基于PostgreSQL JDBC驱动查询MC-Hologres数据源的数据。该方式无冗余存储，无需导入导出数据，可实现快速获取查询结果。当前读写MC-Hologres外部表处于公测阶段，不收取计算费用，也暂时不保证SLA。 | Hologres外部表 |
| 2021-02-01 | 新增Mars v0.6.3版本变更记录。 | 新说明 | 新增Mars v0.6.3版本变更记录。 | 版本更新记录 |
2021年1月更新记录
| 时间 | 特性 | 类别 | 描述 | 产品文档 |
|---|---|---|---|---|
| 2021-01-21 | get_json_object函数返回行为变更。
|
更新说明 | 新建MaxCompute项目的get_json_object函数的默认返回行为由JSON保留字符转义的方式变更为保留原始字符串的方式
|
GET_JSON_OBJECT |
| 2021-01-19 | SELECT目录整改并优化内容。 | 更新说明 | 调整SELECT模块内容并完善命令示例。 | SELECT语法 |
| 2021-01-05 | 新增数据迁移目录。 | 新说明 | 数据上传下载及迁移工具内容调整到新增目录。 | 数据上传下载 |