本文为您介绍了MaxCompute 2020年内容更新的最新动态,基于此您可以了解MaxCompute中增加了哪些新功能、语法新特性和权限变更,提升项目开发效率。
2020年12月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2020-12-21 | 新增STACK和GET_USER_ID函数。 | 新说明 | 新增STACK函数用于将指定的数据分隔为指定列数。新增GET_USER_ID函数用于获取当前账号的账号ID。 | 其他函数 |
2020-12-21 | 新建MaxCompute项目默认提供Information Schema服务。 | 更新说明 | 新建MaxCompute项目默认提供Information Schema服务,无需手动安装Information Schema权限包。 | Information Schema概述 |
2020-12-15 | 新增Mars版本变更说明。 | 新说明 | 提供Mars各版本的变更记录。 | Mars版本更新记录 |
2020-12-15 | 新增Java SDK版本变更说明。 | 新说明 | 提供Java各版本的变更记录。 | Java SDK版本更新记录 |
2020-12-15 | 新增JDBC版本变更说明。 | 新说明 | 提供JDBC各版本的变更记录。 | JDBC版本更新记录 |
2020-12-11 | 元数据视图列表新增TASK视图。 | 新说明 | TASK视图用于保存运行中作业的实时快照信息。 | 元数据视图列表 |
2020-12-10 | 新增添加项目空间成员并设置角色操作指导。 | 新说明 | 如果您使用阿里云账号创建了项目空间,需要RAM用户协助开发时,可以将RAM用户添加为项目空间成员并设置角色,RAM用户才可以协同开发。 | 添加工作空间成员并设置角色 |
2020-12-09 | 新增AdminEvent事件。 | 新说明 | 新增CreateProject、UpdateProject、DeleteProject事件,记录项目相关日志。 | 审计日志 |
2020-12-08 | 常用命令整改并优化内容。 | 更新说明 | 调整常用命令内容并完善命令示例。 | 常用命令列表 |
2020-12-08 | Insert语句整改并优化内容。 | 更新说明 | 调整Insert语句内容并完善命令示例。 |
2020年11月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2020-11-30 | 补充国际站的公开数据集信息。 | 更新说明 | 补充国际站的公开数据集信息,供测试、试用产品。 | 公开数据集概述 |
2020-11-30 | 新增查询编辑器。 | 新功能 | MaxCompute控制台提供查询编辑器,方便您快速执行SQL语句并进行数据分析操作。 | 使用控制台(查询编辑器)连接 |
2020-11-27 | 更新升级和降配操作流程。 | 更新说明 | 通过新版MaxCompute控制台执行升级和降配操作。 | 升级和降配 |
2020-11-26 | 刷新审计日志字段内容。 | 更新说明 | 刷新审计日志字段内容。 | 审计日志 |
2020-11-20 | 支持解除order by 必须带limit 的限制。 |
新说明 | 支持解除order by 必须带limit 的限制。 |
SELECT语法 |
2020-11-17 | 新增Python UDF使用第三方包操作指导。 | 新说明 | MaxCompute支持您在Python UDF中引用第三方包,例如Numpy包、需要编译的第三方包或依赖动态链接库的第三方包。 | Python UDF使用第三方包 |
2020-11-04 | 补充配置JDBC启用MCQA功能下的可选配置参数。 | 更新说明 | 补充配置JDBC启用MCQA功能下的可选配置参数。 | 使用说明 |
2020年10月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2020-10-30 | SEMI JOIN支持MAPJOIN Hint。 | 更新说明 | SEMI JOIN支持MAPJOIN Hint,提高LEFT SEMI或ANTI JOIN的性能,为数据倾斜问题提供解决方案。 | SEMI JOIN(半连接) |
2020-10-30 | MaxCompute支持SORT BY不带 DISTRIBUTE BY。 | 更新说明 | MaxCompute支持不带DISTRIBUTE BY的SORT BY,提供数据重排的解决方案,提高SQL执行的过滤性能。 | SELECT语法 |
2020-10-30 | INSERT命令支持ZORDER BY子句,提升查询时的过滤性能。 | 新功能 | 支持把数据相近的行排列在一起,提升查询时的过滤性能,同时降低存储成本。 | 插入或覆写数据(INSERT INTO | INSERT OVERWRITE) |
2020-10-30 | 支持通过条件筛选方式批量删除分区。 | 新功能 | 如果用户希望一次性删除符合某个规则条件的一个或多个分区,可以使用条件表达式匹配分区进行批量删除。 | 分区和列操作 |
2020-10-30 | OSS外部表CSV或TSV文件支持GBK编码格式。 | 更新说明 | odps.text.option.encoding 属性支持GBK编码格式。 |
创建OSS外部表 |
2020-10-30 | 时间函数YEAR/QUARTER/MONTH/DAY/HOUR/MINUTE/SECOND增加对DATETIME输入数据类型的支持。 | 更新说明 | 时间函数YEAR/QUARTER/MONTH/DAY/HOUR/MINUTE/SECOND增加对DATETIME输入数据类型的支持。 | 日期函数 |
2020-10-30 | 新增WIDTH_BUCKET函数。 | 新功能 | 支持获取某个字段值落入的分组编号。 | 数学函数 |
2020-10-12 | 查询加速(MCQA)功能商业化。 | 更新说明 | 查询加速(MCQA)功能商业化,正式开始收费。 | MCQA概述 |
2020-10-10 | 支持修改表的聚簇属性。 | 新说明 | 新增修改表的聚簇属性说明。 | 表操作 |
2020年9月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2020-09-24 | 新增PyODPS模块。 | 新说明 | 新增PyODPS类型作业说明。 | PyODPS |
2020-09-17 | 新增创建RAM用户描述。 | 新说明 | 新增创建RAM用户描述。 | 准备RAM用户 |
2020-09-08 | 新增LOAD命令说明。 | 新说明 | 新增LOAD命令说明。 | LOAD |
2020-09-03 | 更新Tunnel Upload说明。 | 更新说明 | 更新Tunnel Upload命令使用说明。 | Tunnel命令 |
2020-09-01 | 新增BigQuery数据迁移至MaxCompute最佳实践。 | 新实践 | 为您介绍如何将BigQuery数据迁移至MaxCompute。 | BigQuery数据迁移至MaxCompute |
2020-09-01 | 新增Amazon Redshift数据迁移至MaxCompute最佳实践。 | 新实践 | 为您介绍如何将Amazon Redshift数据迁移至MaxCompute。 | Amazon Redshift数据迁移至MaxCompute |
2020年8月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2020-08-07 | 新增成本优化最佳实践。 | 新实践 | 为您介绍如何优化计算、存储和数据上传下载成本。 | 成本优化 |
2020-08-06 | 新增MaxCompute项目设置RAM子账号为超级管理员最佳实践。 | 新实践 | 为您介绍如何在MaxCompute项目空间中将RAM用户设置为超级管理员,并提供了超级管理员在成员管理和权限管理等方面的使用建议。 | MaxCompute项目设置RAM子账号为超级管理员 |
2020-08-05 | 新增PyODPS节点实现结巴中文分词最佳实践。 | 新实践 | 为您介绍如何使用DataWorks的PyODPS类型节点,借助开源结巴中文分词包实现对中文字段的分词并写入新的表,以及如何利用闭包函数使用自定义词典进行分词。 | PyODPS节点实现结巴中文分词 |
2020-08-05 | 新增实现指定用户访问特定UDF最佳实践。 | 新实践 | 为您介绍如何实现将资源(表或UDF)设设置为仅能被指定的用户访问。 | 实现指定用户访问特定UDF |
2020-08-05 | 新增迁移Oracle数据至MaxCompute最佳实践。 | 新实践 | 为您介绍如何通过DataWorks数据集成,迁移Oracle上的数据至MaxCompute。 | 迁移Oracle数据至MaxCompute |
2020-08-05 | 新增迁移ECS自建MySQL数据库至MaxCompute最佳实践。 | 新实践 | 为您介绍如何使用独享数据集成资源,将您在ECS上自建的MySQL数据库中的数据,迁移至MaxCompute。 | 迁移ECS自建MySQL数据库至MaxCompute |
2020-08-05 | 新增SERDEPROPERTIES支持的属性项odps.text.option.use.quote 。 |
新说明 | 指定是否识别CSV的列分隔符" 。 |
创建OSS外部表 |
2020年7月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2020-07-29 | 新增迁移MaxCompute数据至OTS最佳实践。 | 新实践 | 为您介绍如何将MaxCompute数据迁移至表格存储OTS。 | MaxCompute数据迁移至OTS |
2020-07-29 | 新增迁移MaxCompute数据至OSS最佳实践。 | 新实践 | 为您介绍如何使用DataWorks的数据同步功能将MaxCompute数据迁移至对象存储OSS。 | MaxCompute数据迁移至OSS |
2020-07-24 | 新增数据加密功能。 | 新功能 | MaxCompute支持通过密钥管理服务KMS(Key Management Service)对数据进行加密存储,提供数据静态保护能力,满足企业监管和安全合规需求。 | 数据加密 |
2020-07-23 | 新增聚合函数。 | 新说明 | 新增APPROX_DISTINCT 、ANY_VALUE 、ARG_MAX 和ARG_MIN 函数。 |
聚合函数 |
2020-07-23 | Python UDF增加支持的数据类型。 | 新说明 | Python UDF增加支持的数据类型。 | |
2020-07-23 | 新增SQL语言定义函数。 | 新功能 | MaxCompute支持通过SQL语言定义函数(SQL Function)在SQL脚本中使用SQL定义的UDF。 | SQL自定义函数 |
2020-07-23 | 新增代码嵌入式UDF。 | 新功能 | MaxCompute支持通过代码嵌入式UDF(Embedded UDF)将Java或Python代码嵌入SQL脚本。 | |
2020-07-20 | 新增审计日志功能。 | 新功能 | 为您介绍审计日志的功能、使用场景、范围以及字段定义。 | 审计日志 |
2020-07-15 | 新增通过Tunnel迁移日志数据至MaxCompute。 | 新实践 | 为您介绍如何通过Tunnel上传日志数据至MaxCompute。 | 通过Tunnel迁移日志数据至MaxCompute |
2020-07-15 | 新增通过DataHub迁移日志数据至MaxCompute最佳实践。 | 新实践 | 为您介绍如何通过DataHub迁移日志数据至MaxCompute。 | 通过DataHub迁移日志数据至MaxCompute |
2020-07-15 | 新增通过DataWorks数据集成迁移日志数据至MaxCompute最佳实践。 | 新实践 | 为您介绍如何通过数据集成功能同步LogHub数据至MaxCompute。 | 通过DataWorks数据集成迁移日志数据至MaxCompute |
2020-07-08 | 新增CLONE TABLE功能。 | 新功能 | MaxCompute提供了CLONE TABLE功能,支持将表数据复制到另一个表中,让数据移动和复制更便捷。 | CLONE TABLE |
2020年6月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2020-06-03 | 新增Tunnel overwrite命令。 | 新说明 | 支持Tunnel overwrite命令。 | Tunnel命令 |
2020-06-01 | 优化Spark访问VPC实例。 | 新说明和示例 | 新增内容如下:
|
Spark访问VPC实例 |
2020-06-01 | Policy和Download权限控制。 | 新示例 | 新增Policy授权和撤销的用法示例。 | Policy权限控制 |
2020年1月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2020-01-14 | SQL兼容性升级。 | 新说明 | get_idcard_age 、concat_ws 及like 函数行为变更说明。 |
|
2020-01-09 | 新增参数说明。 | 新说明 | 对示例中的参数进行详细的说明。 | 数据保护机制 |