全部产品
Search
文档中心

云原生大数据计算服务 MaxCompute:重要功能发布记录

更新时间:Aug 21, 2025

本文为您提供MaxCompute产品的重要功能发布信息。

MaxCompute的重要功能发布详情请参见产品重大更新

2025年

07月

功能名称

功能描述

发布时间

发布地域

相关文档

MaxCompute支持基于时间计算函数的自动分区表

支持用户对表中的时间或日期类型的数据列,使用特定的函数进行截取计算,并自动根据计算后的结果生成分区值,对表进行分区。

2025-07-31

全部地域

基于时间计算函数的自动分区表

MaxCompute支持基于数据写入时间的自动分区表

支持在数据写入时自动获取写入时间,并结合用户指定的时间计算函数(TRUNC_TIME),根据计算结果生成分区列的值,从而实现对表的分区。

2025-07-31

全部地域

基于数据写入时间的自动分区表

MaxFrame作业支持Worker级别CPU、内存

MaxFrame支持通过Fuxi Sensor查看具体某一Worker的CPU及内存的实际消耗量。

2025-07-17

全部地域

Fuxi Sensor

MaxFrame AI Function新增内置大模型

MaxFrame AI Function新增内置Qwen 3系列模型,Qwen3-0.6B~Qwen3-14B。​

2025-07-17

全部地域

MaxFrame AI Function

MaxFrame支持作业“部分提交”功能

针对MaxCompute超大规模作业可能出现的,部分Fuxi Instances因数据长尾、死循环等问题长期运行,导致作业整体执行时间拖长甚至超时失败场景,MaxFrame支持作业部分提交功能,对整体作业允许小范围的忽略和丢失,即使在作业失败的情况下仍可获得已成功运行的Fuxi Instances结果数据。

2025-07-17

全部地域

MaxFrame作业部分提交功能

05月

功能名称

功能描述

发布时间

发布地域

相关文档

MaxCompute SQL引擎新版本能力增强

SQL V51新版本上线:

  • 新功能:支持基于时间计算函数的自动分区表(AUTO PARTITION),支持对时间/日期类型数据列,使用时间计算函数截断计算并生成分区列的值。

  • 语法增强:STRUCT语法增强,支持STRUCT(*)语法;同时SHOW HISTORY FOR TASK支持指定起始位置和长度。

  • 函数增强:支持一系列新增函数,包含 BOOL_AND、BOOL_OR、BITWISE_XOR_AGG、BIT_COUNT等。

  • 性能优化:强化Shuffle Removal能力,在写Cluster表的场景下提升作业性能。

2025-05-30

全部地域

数仓引擎

04月

功能名称

功能描述

发布时间

发布地域

相关文档

MaxCompute数据传输服务观测能力升级

通过优化指标数据采集和加工处理链路,提升数据的准确性,新增支持以项目维度查看资源用量能力,新增更多使用方式选项,丰富数据传输服务的可观测性,实现对更多分析场景和需求的支持。

2025-04-24

华东1(杭州)、华东2(上海)、华北2(北京)、华南1(深圳)、西南1(成都)、华东1 金融云、中国香港、新加坡、日本(东京)、马来西亚(吉隆坡)、印度尼西亚(雅加达)、德国(法兰克福)、英国(伦敦)、美国(硅谷)、美国(弗吉尼亚)、沙特(利雅得)

资源观测

MaxFrame AI Function功能发布

MaxFrame AI Function功能支持通过简单易用的编程接口调用大模型,对MaxCompute表中的海量数据进行离线处理。

2025-04-09

华东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华北6(乌兰察布)、华南1(深圳)、西南1(成都)、中国香港、日本(东京)、新加坡、马来西亚(吉隆坡)、印度尼西亚(雅加达)、德国(法兰克福)、英国(伦敦)、美国(硅谷)、美国(弗吉尼亚)、阿联酋(迪拜)和沙特(利雅得)

MaxFrame AI Function

03月

功能名称

功能描述

发布时间

发布地域

相关文档

分层存储配置优化支持自定义策略预估成本功能发布

分层存储配置优化支持自定义策略预估成本功能,支持根据除默认策略之外的自定义策略,对存储成本变化进行预估,以协助用户决策如何配置分层存储策略属性。

2025-03-24

华东1(杭州)、华东2(上海)、华北2(北京)、华南1(深圳)、西南1(成都)、华北3(张家口)、华北6(乌兰察布)、中国香港、日本(东京)、新加坡、马来西亚(吉隆坡)、印度尼西亚(雅加达)、德国(法兰克福)

自定义策略预估成本

多AZ存储规格发布

MaxCompute已正式推出多AZ存储规格,原默认的存储规格更名为单AZ存储。建议与企业生产业务相关的数据选择多AZ存储,能够抵御AZ级故障,在发生AZ级故障时,能够确保数据读取和写入服务不中断,并避免数据丢失。

2025-03-24

华东1(杭州)、华东2(上海)、华北2(北京)、华南1(深圳)、华东 2 金融云、中国香港、新加坡、印度尼西亚(雅加达)

同城容灾

聚簇优化推荐功能发布

MaxCompute聚簇优化推荐功能旨在对表近期的读写特征进行分析,并生成相应的聚簇建议,以帮助您提升作业性能并降低CU消耗。您可根据聚簇后的预估收益和推荐详情决定是否应用系统推荐的聚簇建议,也可在应用建议后查看每日收益。

2025-03-17

华东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华南1(深圳)和西南1(成都)

聚簇优化推荐

02月

功能名称

功能描述

发布时间

发布地域

相关文档

自动物化视图(AutoMV)功能发布

可根据用户作业查询习惯和性能自动创建物化视图,从而提高计算效率、减少重复计算。适用于对MaxCompute表执行多次重复查询,并且不同使用者之间互不知晓对方也在采用相同的计算逻辑的场景。

2025-02-20

中国公共云地域

自动物化视图(AutoMV)

交互式查询加速2.0(MaxQA)开启公测

在独享的查询加速资源池的基础上,优化管控链路、缓存能力以及SQL计算引擎等多个环节,从而减少查询响应时间。适用于BI场景、交互式分析以及近实时数仓等对延迟要求高且稳定的场景。

2025-02-17

全部地域

查询加速MaxQA操作指南

MaxCompute SQL引擎新版本能力增强

SQL V50新版本上线:

  • 数据类型和构造方式增强:支持scale大于18的更高精度Decimal,并通过STRUCT Expression提供新的STRUCT数据构造方式。

  • 功能增强:增强了FIND_IN_SET函数对多种分隔符的支持,并扩展了物化视图改写所支持的算子。

  • 性能提升:通过MATERIALIZED CTE提升CTE语句性能,针对Shuffle场景进行了多种性能优化。

2025-02-10

全部地域

数仓引擎

数据动态脱敏功能发布

提供数据动态脱敏功能,支持掩码、散列、字符替换、数值取整及日期取整等多种脱敏策略,以实现对个人身份信息(PII)等敏感数据在业务开发测试、数据共享及运维等场景中的有效保护。

2025-02-10

华东1(杭州)、华东2(上海)、华北2(北京)、华北3(张家口)、华北6(乌兰察布)、华南1(深圳)、西南1(成都)、中国香港、日本(东京)、马来西亚(吉隆坡)、印度尼西亚(雅加达)、德国(法兰克福)

数据动态脱敏

行级权限功能升级

优化行级权限功能,新增支持Result Cache、物化视图、Local Mode等场景,并支持叠加其他优化功能,有效提升行级权限功能的易用性和性能。

2025-02-10

全部地域

行级访问控制

湖仓一体和外部表能力增强

  • 创建外部表解析PARQUET格式数据文件时,支持TINYINT、SMALLINT、DATETIME等类型的隐式转换。

  • 支持使用MAX_PT函数查询OSS外部表中最新的有数据的分区。

2025-02-10

全部地域

湖仓一体和外部表能力

01月

功能名称

功能描述

发布时间

发布地域

相关文档

管理控制台概览页发布

MaxCompute管理控制台新增概览页,提供快速开始引导、资源实例列表、关注的项目和Quota列表、告警与风险提示、产品动态等信息,帮助您快速开始运维管理工作。

2025-01-20

全部地域

2024年

11月

功能名称

功能描述

发布时间

发布地域

相关文档

Logview 2.0 适配MaxFrame

Logview 2.0支持查看MaxFrame Session中提交的所有DAG的执行记录、运行耗时等信息。

2024-11-29

华东1(杭州)、华东2(上海)、华北2(北京)、华南1(深圳)、西南1(成都)、华北6(乌兰察布)、中国(香港)

通过Logview 2.0查看MaxFrame作业

物化视图推荐与管理功能优化升级

新增预估影响面和实际收益指标,辅助您决策是否采用推荐建议及管理现有物化视图。

2024-11-26

全部地域

物化视图推荐与管理

作业智能诊断功能发布

支持基于作业详细执行信息,对SQL作业进行智能诊断。从而协助用户及时发现作业报错或作业运行时长不符合预期等问题,并提供异常分析及解决建议。

2024-11-18

全部地域

作业智能诊断

MaxFrame支持自动化打包服务

MaxFrame支持在作业开发时声明所需的外部依赖包,简化了Python开发中第三方包的管理操作。

2024-11-01

华东1(杭州)、华东2(上海)、华北2(北京)、华南1(深圳)、西南1(成都)、华北6(乌兰察布)、中国(香港)

自动化打包服务

10月

功能名称

功能描述

发布时间

发布地域

相关文档

同地域下支持购买多个包年包月计算资源一级Quota

MaxCompute支持同账号在同地域下购买多份包年包月计算资源,即同一个云账号在同地域下支持购买多个一级Quota,且多个一级Quota之间资源相互独立。

2024-10-14

全部地域

包年包月

09月

功能名称

功能描述

发布时间

发布地域

相关文档

存储成本优化功能发布

MaxCompute存储成本优化功能依据固定优化策略(近30天无访问的标准存储推荐转为低频存储;近180天无访问的标准存储推荐转为长期存储),结合表/分区的最近访问时间,判断是否可以将表/分区的分层存储属性由标准变更为低频或长期,并推算可能节省的存储成本(目录价),辅助您进行分层存储策略配置。

2024-09-27

华东1(杭州)、华东2(上海)、华北2(北京)、华南1(深圳)、西南1(成都)、华北3(张家口)、华北6(乌兰察布)

分层存储配置优化

控制台包年包月计算Quota管理交互界面升级

MaxCompute控制台包年包月计算Quota管理页面,保留原来大逻辑的基础上,把交互分成两大场景,提升Quota管理操作体验:

  • 基础配置:若无Quota分时诉求,基础配置可完成二级Quota的拆分与管理。

  • 伸缩配置:若有Quota分时诉求,基础配置拆分二级Quota以及配置其他基础参数后,在伸缩配置对Quota配置可伸缩的CU类型,同时新增全局视图浏览各时段所有Quota的CU配置。

2024-09-11

全部地域

计算资源-Quota管理

08月

功能名称

功能描述

发布时间

发布地域

相关文档

存储资源观测功能发布

您可以查看所选地域下总存储用量以及各种存储类型占比情况,并根据项目和需要观测的时间区间去观测各类存储的变化趋势,以及详细的表或分区存储信息。以此判断是否存在存储异常激增的情况,及时对存储用量Top的项目或表/分区进行优化。

2024-08-16

华东1(杭州)、华东2(上海)、华北2(北京)、华南1(深圳)、西南1(成都)、华北3(张家口)、华北6(乌兰察布)

资源观测

作业性能观测功能升级

在原功能的基础上增加单位CU时处理的作业扫描量趋势,以及消耗资源、时间Top作业列表。通过所提供的指标可快速定位资源用量较多、耗时较长的作业,并及时治理,判断是否存在性能异常时段,结合作业运维功能定位引发原因,并及时治理。

2024-08-13

全部地域

资源观测

07月

功能名称

功能描述

发布时间

发布地域

相关文档

作业性能观测

通过作业性能观测指标查看是否存在作业数量异常激增、资源用量异常激增等问题,并及时治理。通过对比不同时间的作业运行时长,判断是否存在异常慢作业拉低了整体作业性能。

2024-07-31

全部地域

资源观测

作业运维列表、作业分析概览页提供作业开始运行时间、等待时长及运行时长参数

通过该参数,您可以快速定位作业是否因等待资源耗时过长而导致整体运行较慢,进而结合作业分析判断具体由于资源供给不足或是存在多作业抢占资源导致,后续您可以依据具体业务情况优化作业执行情况、进行作业优先级调整或计算资源管理。

2024-07-04

全部地域

作业运维

计算成本优化功能在中国香港、新加坡等4个地域发布

该功能可基于您的实际作业请求量和资源配置期望,对包年包月一级Quota类型的计算资源生成更优的资源配置方案,也支持查看当前使用按量付费计算资源的项目调整为使用包年包月计算资源的资源配置推荐方案及效果推演,帮助您进一步优化计算成本和提高资源利用效率。

2024-07-01

中国香港、新加坡、印度尼西亚(雅加达)、德国(法兰克福)

计算资源配置优化

06月

功能名称

功能描述

发布时间

发布地域

相关文档

支持行级访问控制

为了便于控制用户或角色对MaxCompute表中特定数据的访问,MaxCompute提供了行级访问控制功能,通过在原表上定义用户与数据(被允许访问的数据)的匹配规则,控制特定用户或角色仅可见其有权限访问的数据,从而提升数据安全性和合规性。

2024-06-28

全部地域

行级访问控制

05月

功能名称

功能描述

发布时间

发布地域

相关文档

作业性能观测功能发布

对于计算作业,可通过整体作业运行相关指标(如作业数量、CU用量及作业运行时长)查看是否存在作业数量异常激增、资源用量异常激增等问题,并判断作业性能是否符合预期。

2024-05-08

全部地域

作业性能观测

04月

功能名称

功能描述

发布时间

发布地域

相关文档

窗口函数支持过滤功能

窗口函数支持过滤功能,在窗口函数计算过程中可以过滤掉不需要参与计算的行。

2024-04-10

全部地域

filter_clause

支持二进制常量

支持二进制常量,方便用户使用二进制数据类型的数据,用户可以用X'num' 代表二进制常量。

2024-04-10

全部地域

2.0数据类型版本

新增内建函数FROM_CHARSET

MaxCompute FROM_CHARSET支持将指定编码格式的二进制数据转换为UTF-8格式的字符串,以便后续进行计算时使用。

2024-04-10

全部地域

FROM_CHARSET

新增TIMESTAMP_NTZ数据类型

新增时区无关的时间数据类型TIMESTAMP_NTZ,方便数据在不同时区下进行转化,时间类型数据不受当前系统时区影响。

2024-04-10

全部地域

TIMESTAMP_NTZ数据类型

03月

功能名称

功能描述

发布时间

发布地域

相关文档

华北6(乌兰察布)正式开服

MaxCompute产品新增开通华北6(乌兰察布),提供企业级Serverless智能数仓服务,可以在控制台上按需求开通。

2024-03-26

华北6(乌兰察布)

-

操作审计事件迁移入仓功能发布

当您需要分析更长时间(超过最近90天)的操作事件时,可以通过操作审计创建跟踪,将操作事件投递至MaxCompute,方便进行查询和分析。

2024-03-14

全部地域

操作审计事件数据迁移至MaxCompute

控制台SQL分析功能发布

MaxCompute控制台的SQL分析,支持编辑及运行SQL命令,并对执行结果简单的图表分析;支持查看所有项目内的table、resource、udf的元数据信息,包括查看内置的租户级别Information Schema的视图元数据;同时内置公共数据集Demo,可以直接打开公共数据集Demo的SQL文件执行代码,基于公开数据集体验及测试MaxCompute。

2024-03-14

全部地域

使用SQL分析连接

01月

功能名称

功能描述

发布时间

发布地域

相关文档

计算成本优化功能发布

MaxCompute计算资源优化功能升级为计算成本优化功能。在原计算资源优化功能的基础上,对于使用按量付费计算资源的项目,MaxCompute提供了使用包年包月计算资源的资源配置推荐方案及效果推演,以帮助您进一步优化计算成本,提高资源利用效率。

2024-01-25

全部地域

计算资源配置优化

控制台资源观测支持修改指标聚合算法

控制台资源观测为优化页面体验,每个指标至多支持展示60个时间点,因此当时间范围大于1h时,原先图表默认使用区间范围内(所选时间范围的分钟数/60)的平均值聚合数据。现在您可以根据自身需求更改聚合算法为最大值,以便更全面地分析资源消耗情况。

2024-01-02

全部地域

资源观测

2023年

12月

功能名称

功能描述

发布时间

发布地域

相关文档

按量付费闲时版发布

MaxCompute提供单价更低的按量付费计算资源规格类型(按量付费闲时版),为您降低在延迟不敏感场景下使用MaxCompute的成本。

2023-12-28

华东1(杭州)、华东2(上海)、华北2(北京)、华南1(深圳)、中国香港、新加坡、英国(伦敦)、日本(东京)、马来西亚(吉隆坡)、德国(法兰克福)、印度尼西亚(雅加达)、美国(弗吉尼亚)、美国(硅谷)

按量付费闲时版

支持通过控制台编辑外部网络地址

支持通过控制台添加或删除项目可用的外部网络地址。

2023-12-20

全部地域

网络开通流程

11月

功能名称

功能描述

发布时间

发布地域

相关文档

支持增加TableStore外表脏数据处理配置

在读取TableStore外表数据时,用户可以配置遇到脏数据时的处理逻辑。

2023-11-22

全部地域

Tablestore外部表

支持PAIMON外部表

MaxCompute支持使用PAIMON外部表来读取PAIMON中的数据。

2023-11-22

全部地域

Paimon外部表

支持列级别数据加密

列级加密支持密钥集,支持密钥轮转,支持结合KMS密钥进行数据加解密操作。

2023-11-22

全部地域

加密函数

项目超级管理员设置支持通过RAM权限管控

支持拥有RAM权限(UpdateUsersToSuperAdmin)的RAM用户为某个项目设置超级管理员角色成员。

2023-11-21

全部地域

项目管理

09月

功能名称

功能描述

发布时间

发布地域

相关文档

MapReduce支持SQL运行时执行模式

MaxCompute新增将MapReduce作业指定为SQL运行时执行。

2023-09-25

全部地域

MapReduce支持SQL运行时执行模式

作业分析功能发布

MaxCompute推出作业分析功能,方便开发者定位作业资源问题。

2023-09-21

全部地域

作业运维

08月

功能名称

功能描述

发布时间

发布地域

相关文档

租户级别Information Schema

租户级别Information Schema从租户角度提供项目及使用历史等元数信息,方便一次性获取租户下某类对象的所有元数据。

2023-08-08

全部地域

租户级别Information Schema

06月

功能名称

功能描述

发布时间

发布地域

相关文档

新增JSON数据类型

新增JSON数据类型,MaxCompute支持写入JSON数据类型时,自动优化存储,提高JSON数据计算分析性能。

2023-06-27

全部地域

JSON数据类型

增强数据写入时Zorder功能

MaxCompute增强Zorder功能,支持数据写入时全局进行统一排序,减少数据扫描量,提高计算性能。

2023-06-27

全部地域

插入或覆写数据(INSERT INTO | INSERT OVERWRITE)

新增列数据清空功能

MaxCompute支持用户清空指定表或者分区的列数据,节省存储空间。

2023-06-27

全部地域

更新或删除数据(UPDATE | DELETE)

新增8个内建复杂类型函数

MaxCompute新增8个内建复杂类型函数,简化用户对数组的操作,提高开发效率。

2023-06-27

全部地域

05月

功能名称

功能描述

发布时间

发布地域

相关文档

支持TableStore外表指定PutRow方式写入

MaxCompute支持Tablestore外表新增PutRow写入方式。

2023-05-06

全部地域

Tablestore外部表

支持将数据带表头写入OSS的CSV文件

MaxCompute支持将数据写入OSS的CSV文件中时,指定第一行为表头名称。

2023-05-06

全部地域

ORC外部表

新增多个内建函数

MaxCompute新增4个数学函数,3个时间日期相关函数和1个字符串函数,使用内建函数简化用户SQL代码。

2023-05-06

全部地域

物化视图支持定时刷新数据

物化视图支持多种定时方式刷新数据,让物化视图能保持更新鲜的数据供用户使用。

2023-05-06

全部地域

物化视图操作

SQL提供内建加密函数和解密函数

MaxCompute SQL提供内建加密函数和解密函数,支持用户手工对表的列进行加密或者解密操作。

2023-05-06

全部地域

加密函数

支持使用QUALIFY过滤窗口函数的结果

MaxCompute支持使用QUALIFY语法根据您指定的过滤条件过滤窗口函数的结果,简化用户SQL代码。

2023-05-06

全部地域

QUALIFY

持通过TABLESAMPLE对表数据进行采样

MaxCompute支持通过TABLESAMPLE对表数据进行采样,方便用户对表数据按不通采样方式进行采样。

2023-05-06

全部地域

TABLESAMPLE采样

04月

功能名称

功能描述

发布时间

发布地域

相关文档

支持更改表结构

支持用户修改表结构,包括:新增复杂列,删除列,更改列顺序以及更改列数据类型。

2023-04-25

全部地域

分区操作

物化视图加速

物化视图加速可以自动推荐创建物化视图SQL脚本,方便用户快速创建物化视图,减少重复计算,减少计算资源。

2023-04-23

全部地域

物化视图推荐与管理

新版作业运维

新版作业运维将提供全量MaxCompute作业运行列表进行运维管理,同时满足查看作业快照信息和作业当前信息。

2023-04-06

全部地域

作业运维

03月

功能名称

功能描述

发布时间

发布地域

相关文档

支持使用Spark和MapReduce任务处理External Volume中的非结构化数据

MaxCompute支持使用Spark和MapReduce任务在仓内处理基于OSS的External Volume中的非结构化数据。

2023-03-30

全部地域

利用MaxCompute External Volume处理非结构化数据

支持External Volume非结构化数据存储能力

External Volume是MaxCompute提供的非结构化大数据存储方案,是OSS路径在数仓中的映射和管理对象。

2023-03-30

全部地域

External Volume操作

02月

功能名称

功能描述

发布时间

发布地域

相关文档

增强显示数据对象SHOW命令

SHOW命令可以列出更细分类下的数据对象,包括表,视图和函数。

2023-02-25

全部地域

SHOW

01月

功能名称

功能描述

发布时间

发布地域

相关文档

支持Hologres外部表存储直读

支持Hologres存储直读,直读Hologres存数据时可以减少Hologres的连接数和提高读取数据的速度。

2023-01-21

全部地域

Hologres外部表

2022年

12月

功能名称

功能描述

发布时间

发布地域

相关文档

增加SQL Window关键字

新增WINDOW关键字,用户可以用WINDOW关键字定义窗口,用户只要对窗口定义一次,进行重复使用。

2022-12-14

全部地域

WINDOW关键字

Update语法支持From子句

UPDATE数据更新操作时可以直接使用FROM子句进行更新数据。

2022-12-14

全部地域

更新或删除数据(UPDATE | DELETE)

优化增强字符串函数和聚合函数能力并新增字符串函数

  • 优化3个字符串处理内建函数:CAST/SPLIT/RAND。

  • 增强两个窗口函数:NUMERIC_HISTOGRAM/PERCENTILE_APPROX。

  • 新增函数MASK_HASH。

2022-12-14

全部地域

内建函数概述

11月

功能名称

功能描述

发布时间

发布地域

相关文档

支持自定义项目管理类角色

MaxCompute的项目内置Admin和Super_Administrator两个管理类角色,同时也支持自定义管理类角色。通过新版控制台的项目管理-角色管理,创建项目角色时选择Admin类型实现自定义管理类角色。您可以通过自定义管理类角色让一些角色仅能进行权限分配管理、只能进行IP白名单管理等。

2022-11-15

全部地域

MaxCompute权限

10月

功能名称

功能描述

发布时间

发布地域

相关文档

支持数据结构由project.table升级为project.schema.table,方便与三层结构数据的数据源对接。

MaxCompute项目(Project)作为基本组织单元,是进行多用户隔离和访问控制的主要边界。同时Project中包含表(Table)、资源(Resource)、函数(Function)对象,这些对象原来直接放在Project下,需要Project充当类似于传统数据库的Database或Schema的概念,概念容易混淆(既是Database又是Schema),在有很多表或者对象的情况使用便利性较差。 目前MaxCompute支持Schema,在Project之下对Table、Resource、Function进行归类。如果您原数据存储层级结构也如project.schema.table,且即将迁移到MaxCompute,可以选择使用MaxCompute的Schema功能,可以直接与数据源层级对齐无需在迁移时做业务重构,减少工作量。

2022-10-13

全部地域

Schema操作

09月

功能名称

功能描述

发布时间

发布地域

相关文档

支持使用双签名模式建立Hologres外部表

双签名模式是MaxCompute与Hologres共同研发的认证及鉴权协议,在MaxCompute侧使用用户登录信息加签名后,将认证数据传递给Hologres侧,Hologres根据与MaxCompute底层达成的协议,进行同名认证及鉴权。这样您只要在MaxCompute和Hologres具有相同的账号,就可以直接访问Hologres外部表,无需额外设置认证信息。

2022-09-24

全部地域

Hologres外部表

支持通过Create table like方式创建与外部数据源中表结构相同的表。

利用MaxCompute湖仓一体在MaxCompute中创建与EMR、Hadoop、DLF等外部数据源中表结构相同的表,利用Create table like语法将外部数据源中的表结构迁移至MaxCompute内,以获取更好的数据治理能力和访问性能。

2022-09-23

全部地域

使用SQL管理外部项目

08月

功能名称

功能描述

发布时间

发布地域

相关文档

支持分区表到期后自动删除表

当分区表的分区数据生命周期到期会自动回收,当所有分区都自动回收后,MaxCompute支持设置自动删除该分区表。

2022-08-27

全部地域

生命周期操作

新增三个聚合函数

新增三个聚合函数,分别是BITWISE_AND_AGG对输入值做BIT AND操作并返回聚合值;MIN_BY返回指定列最小值所在行指定列的值;MAX_BY返回指定列最大值所在行指定列的值。

2022-08-27

全部地域

聚合函数

创建内表时支持使用like语句复制外部表的表结构

创建内部表时支持使用like复制外部表的表结构,提高建表效率。

2022-08-27

全部地域

创建表

新增物化视图状态查看函数

新增物化视图状态查看函数,该函数可以判断当前物化视图或者物化视图的分区的数据是否跟原表的数据一致,如果一致返回为True,否则返回False。

2022-08-27

全部地域

物化视图操作

物化视图支持生成空分区

当刷新分区物化视图时,如果物化视图计算后对应的分区没有数据时,物化视图会生成一个没有数据的空分区,保持分区的连续性。

2022-08-27

全部地域

物化视图操作

Use Quota(作业级别指定计算资源)功能发布

通过MaxCompute的Use Quota功能,实现作业级别指定Quota,提升Quota使用的灵活性。如Project内某些作业占用大量资源会影响整体项目作业时效(如数据回刷作业占大量资源但时效要求不高、某些占用大量资源且时效要求高的算法作业),需要进行Quota隔离指定资源进行计算,可以通过Use Quota功能直接指定,无需单独创建Project进行作业迁移通过Project绑定Quota来实现。

2022-08-23

全部地域

计算资源-Quota使用

07月

功能名称

功能描述

发布时间

发布地域

相关文档

新增一个正则函数

MaxCompute新增一个正则函数regexp_extract_all,您可以用该函数一次性从需要处理的字符串中匹配所有满足要求的子字符串,并以数组方式返回,提高数据处理效率。

2022-07-14

全部地域

字符串函数

支持Unload函数导出数据时自定义导出文件名的前后缀

支持使用Unload函数从MaxCompute导出数据到OSS时,自定义设置导出数据文件名的前缀和后缀。

2022-07-14

全部地域

UNLOAD

支持在表级别设置Split Size参数

在表级别设置Split Size参数控制并发度,当您发现资源比较充足且作业跑的比较慢的时候或者发现作业等待资源时间比较长且资源不足时,可以通过调整该参数,提升计算效率。

2022-07-14

全部地域

SELECT语法

新增三个窗口函数以及性能优化

新增first_valuelast_valuenth_value三个窗口函数,以及对现有所有窗口函数进行性能调优,窗口函数的计算性能大幅提升。

2022-07-14

全部地域

窗口函数

新增六个聚合函数

新增BITWISE_OR_AGGMAP_AGGMULTIMAP_AGGMAP_UNIONMAP_UNION_SUMHISTOGRAM六个聚合函数,可以对输入的Bit值或者Map对象做聚合操作,更加便捷的做数据分析统计。

2022-07-14

全部地域

聚合函数

06月

功能名称

功能描述

发布时间

发布地域

相关文档

05月

功能名称

功能描述

发布时间

发布地域

相关文档

按外部表类型对外部表计算独立计费

MaxCompute按外部表类型进行独立计费,目前用户可以在自己的账单上清晰看到OSS外部表和Tablestore外部表分别产生的费用,方便用户查看不同数据源做数据联合计算产生的费用。

2022-05-17

全部地域

查看账单详情

03月

功能名称

功能描述

发布时间

发布地域

相关文档

MaxCompute新增DISTRIBUTED MAP JOIN

支持用户在特殊场景下使用HINT方式进行DISTRIBUTED MAP JOIN计算,提高计算性能,减少计算时间。

2022-03-17

全部地域

DISTRIBUTED MAPJOIN

MaxCompute增强OSS外表能力

MaxCompute往OSS外表写数据时,支持自动创建托管目录。在创建OSS外表时可以指定读取文件的缓存容量。

2022-03-17

全部地域

OSS外部表

MaxCompute增加半结构化数据(JSON)新解析方式

MaxCompute支持用户JSON数据键值中带特殊字符点(.),可以用['']来读取带点作为键值的数据。

2022-03-17

全部地域

GET_JSON_OBJECT_TUPLEJSON_TUPLE

MaxCompute增强TRIM、LTRIM和RTRIM函数能力

MaxCompute支持用TRIM、LTRIM、RTRIM函数去除字符串左端,右端或者两端的指定字符功能。

2022-03-17

全部地域

字符串函数

MaxCompute增强物化视图自动改写能力

物化视图新增OUTER JOIN和UNION、UNION All的自动改写能力。

2022-03-17

全部地域

物化视图操作

MaxCompute支持压缩TEXTFILE格式文件的Skip header和Skip footer

MaxCompute支持通过skip.header.line.countskip.footer.line.count,对CSV格式文件的数据的首尾行进行跳过处理,即不处理CSV格式文件中的首尾行数据,包括以.gz、.bz2和.lzo的方式压缩过的CSV文件。

2022-03-01

全部地域

ORC外部表

MaxCompute兼容开源Spark的计算服务全新支持3.1版本

MaxCompute兼容开源Spark的计算服务继1.6、2.3、2.4版本之后,全新支持Spark 3.1版本。

2022-03-01

全部地域

搭建Linux开发环境

02月

功能名称

功能描述

发布时间

发布地域

相关文档

MaxCompute Logview新增数据安全管理功能

MaxCompute Logview的运行结果支持自定义配置是否显示,进一步对数据安全进行管控。

2022-02-25

全部地域

项目空间操作

MaxCompute支持表结构变更

MaxCompute支持表结构变更功能,包括表可以新增复杂类型字段,表删除字段以及表字段顺序变更三种功能。

2022-02-23

全部地域

分区操作

01月

功能名称

功能描述

发布时间

发布地域

相关文档

MaxCompute外部项目元数据信息支持在DataWorks数据地图查看

MaxCompute外部项目元数据信息支持在DataWorks数据地图查看。

2022-01-10

德国(法兰克福)和新加坡地域

通过DataWorks管理湖仓一体

2021年

12月

功能名称

功能描述

发布时间

发布地域

相关文档

支持向导式开通MaxCompute到VPC中Hadoop Hive 和数据湖构建DLF+ OSS的连接

支持一站式创建到VPC的网络连接、数据源连接以及湖仓一体外部项目,代替原有的工单开通方式,时间从天级别缩短到分钟级。增加湖仓一体主页,集成湖仓一体创建、开发、管理和治理等主要功能入口。

2021-12-30

全部地域

MaxCompute湖仓一体概述

MaxCompute支持渐进式计算

MaxCompute支持渐进式计算,在处理数据过程中按照一定时间颗粒度自动按时间分区保存处理过程中的中间结果数据,在下一个周期执行时可以重复使用上周期已经计算好的重叠时间部分的数据,从而降低了计算资源消耗、执行调度时间,为客户节省了费用的同时提高了作业的运行效率。

2021-12-03

全部地域

参考:渐进式计算

MaxCompute物化视图功能增强

MaxCompute物化视图支持创建分区和聚簇,在查询物化视图时如果发现有分区数据不存在物化视图中时,可以设置系统自动穿透去查询源表,并返回源表和物化视图的汇总数据。

2021-12-01

全部地域

物化视图操作

11月

功能名称

功能描述

发布时间

发布地域

相关文档

MaxCompute专有网络连接管理产品化发布

MaxCompute支持通过外部表、UDF及湖仓一体等功能访问VPC网络,需要先开通MaxCompute和目标IP或服务,例如HBase、RDS、Hadoop集群等连通目标的网络连接。前期开通MaxCompute专有网络连接,需要通过页面表单进行申请添加。专有网络连接管理产品化发布后,您可以通过MaxCompute控制台的网络资源功能界面自行增加或删除专有网络连接,无需通过表单申请并等待审批,提升开发效率。在配置前,您需先了解网络资源管理相关的管理权限,有权限的账号方可进行操作。

2021-11-29

  • 华北2(北京)

  • 华东2(上海)

  • 华北3(张家口)

  • 华东1(杭州)

  • 华南1(深圳)

网络开通流程

MaxCompute支持清空分区表中指定分区的数据

MaxCompute支持用户手动清空分区表中指定的一个或者多个分区的数据,但不会删除分区表或者分区表的分区元数据信息。同时MaxCompute可以支持用过滤条件来筛选需要清空数据的分区。

2021-11-23

全部地域

清空分区数据

10月

功能名称

功能描述

发布时间

发布地域

相关文档

MaxCompute外表支持HBase增强版和云原生多模数据库Lindorm

云数据库HBase增强版,是由云原生多模数据库Lindorm的宽表引擎提供的、完全兼容HBase的云上托管数据库。云原生多模数据库Lindorm是面向物联网、互联网、车联网等设计和优化的,支持宽表、时序、文本、对象、流、空间等多种数据的统一访问和处理的云原生多模超融合数据库。在很多应用场景中需要把HBase增强版或者Lindorm的数据导入到MaxCompute做数据加工、数据分析和联邦查询,同时MaxCompute中的数据也需要写入HBase增强版或者Lindorm中。现在可以在MaxCompute中建立HBase增强版或者Linorm的外表,对HBase增强版或者Lindorm中的数据进行读写操作。

2021-10-29

全部地域

Lindorm外部表(云原生多模数据库)

09月

功能名称

功能描述

发布时间

发布地域

相关文档

MaxCompute 产品在华南1金融云(深圳)正式开服

MaxCompute支持的地域增加华南1金融云(深圳)。

2021-09-14

华南1金融云(深圳)

MaxCompute 支持访问开启Kerberos 认证授权机制的 Hadoop集群

大部分企业的Hadoop的生产集群开启了 Kerberos认证授权机制,本次功能升级能够利用MaxCompute访问开启Kerberos认证授权机制的 Hadoop集群,极大的扩展了湖仓一体对接Hadoop的适用范围。

2021-09-01

  • 华东1(杭州)

  • 华东2(上海)

  • 华北2(北京)

  • 华南1(深圳)

  • 华北3(张家口)

  • 新加坡

MaxCompute 支持通过湖仓一体方式读取OSS上的Hudi或 Delta Lake格式存储

Delta Lake和Hudi是数据湖方案中常用的存储机制,为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、OSS产品提供了支持Delta或Hudi 存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据,即时洞察业务数据变化。

2021-09-01

  • 华东1(杭州)

  • 华东2(上海)

  • 华北2(北京)

  • 华南1(深圳)

  • 新加坡

基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储机制

08月

功能名称

功能描述

发布时间

发布地域

相关文档

MaxCompute SQL新增编码转换等16个内置函数

MaxCompute SQL 新增内置函数包括:

  • 复杂类型函数

    FIELD:获取STRUCT中的成员变量的取值。

  • 日期函数

    TO_MILLIS:将指定日期转换为以毫秒为单位的UNIX时间戳。

  • 字符串函数

    • ENCODE:将字符串按照指定编码格式编码。

    • FIND_IN_SET:在以逗号分隔的字符串中查找指定字符串的位置。

    • LOCATE:在字符串中查找另一指定字符串的位置。

    • PARSE_URL_TUPLE:对URL进行解析返回多个部分的信息。

  • 数学函数

    CORR:计算两列数据的皮尔逊系数。

  • 其他函数

    • HASH:对输入的参数进行散列运算,返回一个HASH值。

    • COMPRESS:对输入的字符串,按照GZIP算法进行压缩。

    • DECOMPRESS:对于BINARY类型的输入,使用GZIP算法进行解压缩。

    • NULLIF:如果expr1和expr2的值相等,返回NULL;否则返回expr1。

    • FORMAT_NUMBER:将数字转化为指定格式的字符串。

    • SHA:计算字符串或者二进制的SHA-1哈希值,并将值以十六进制字符串返回。

    • SHA1:计算字符串或者二进制的SHA-1哈希值,并将值以十六进制字符串返回。

    • SHA2:计算字符串或者二进制的SHA-2系列哈希值(支持SHA-224,SHA-256,SHA-384和SHA-512)。

    • CRC32:计算字符串或者二进制的循环冗余校验值。

2021-08-31

全部地域

MaxCompute SQL UPDATE、DELETE和MERGE INTO功能商业化

自2021年8月10日起,MaxCompute SQL的UPDATE、DELETE和MERGE INTO功能结束免费公测,开始正式计费。已经使用UPDATE、DELETE和MERGE INTO功能的按量计费作业,届时会产生计算费用。如果您之前因为担心公测稳定性问题而暂未使用UPDATE、DELETE和MERGE INTO功能,届时可以放心使用。MaxCompute为UPDATE、DELETE和MERGE INTO功能的相关可用性、稳定性等提供与MaxCompute SQL能力同等的保障。

2021-08-10

  • 华北2(北京)

  • 华东2(上海)

  • 华北3(张家口)

  • 华东1(杭州)

  • 华南1(深圳)

  • 西南1(成都)

MaxCompute流式数据通道服务功能商业化发布

MaxCompute流式数据通道服务提供流式语义API支持,简化分布式服务开发操作。支持分布式服务并发创建分区,支持数据异步zorder by排序功能。

2021-08-09

全部地域

流式数据通道服务

MaxCompute SQL支持物化视图

MaxCompute SQL推出物化视图(Materialized View)功能。物化视图本质是一种预计算,即把某些耗时的操作(例如JOIN、AGGREGATE)的结果保存下来,以便在查询时直接复用,从而避免这些耗时的操作,最终达到加速查询的目的。

物化视图适用于如下场景:

  • 模式固定、且执行频次高的查询。

  • 查询包含非常耗时的操作,比如聚合、连接操作等。

创建了物化视图后,执行查询操作时,MaxCompute SQL查询改写能力会自动匹配到最优物化视图,并直接从物化视图中读取数据,从而大大提高查询效率,您不需要修改已有查询。

2021-08-06

全部地域

物化视图操作

07月

功能名称

功能描述

发布时间

发布地域

相关文档

MaxCompute SQL支持对部分聚合函数输入预排序

MaxCompute SQL的聚合函数WM_CONCATCOLLECT_LIST及对数据输入顺序敏感的UDAF函数,如果指定了排序列WITHIN GROUP (ORDER BY col1[, col2...]),那么聚合函数的输入会保证有序。

2021-07-30

全部地域

聚合函数

MaxCompute SQL子查询支持多列运算的语法

MaxCompute SQL兼容PostgreSQL子查询语法,提供in subquery/scalar subquery支持多列运算的语法。其中:

  • in subquery

    • in后的表达式可以为简单的SELECT多列语句。

    • in后的表达式中可以使用聚合函数。

    • in后的表达式可以为常量。

  • scalar subquery

    • SELECT列为包含多列的SCALAR SUBQUERY表达式,只支持等值表达式。

    • SELECT列可以为BOOLEAN表达式,只支持等值比较。

    • where支持多列比较,只支持等值比较。

2021-07-29

全部地域

子查询(SUBQUERY)

MaxCompute项目删除新功能发布

您可以通过阿里云账号(主账号)或具备项目Super_Administrator角色的RAM用户账号登录MaxCompute控制台删除MaxCompute项目。支持如下两种删除方式:

  • 逻辑删除,15日内可恢复:删除后项目不可用,15天内您可以在项目管理页签的目标MaxCompute项目的操作列单击恢复,恢复项目。超过15天会彻底删除项目且永久无法恢复。

  • 立即删除,永久不可恢复:彻底删除,永久不可恢复。此方式删除后您可以立即创建同名项目。

2021-07-29

  • 华北2(北京)

  • 华东2(上海)

  • 华北3(张家口)

  • 华东1(杭州)

  • 华南1(深圳)

  • 西南1(成都)

删除MaxCompute项目

04月

功能名称

功能描述

发布时间

发布地域

相关文档

MaxCompute支持Dynamic Filter智能优化功能

JOIN是分布式系统中常见的操作,在海量数据场景下,也是一个非常耗时、耗资源的操作。针对JOIN场景,MaxCompute推出Dynamic Filter智能优化功能,可以利用JOIN本身的等值连接属性,基于运行时动态生成过滤器,在Shuffle或JOIN之前提前过滤数据,实现加速查询运行。该功能适用于维度表和事实表执行JOIN的场景。您可以在Session级别通过开关强制打开、智能选择打开或手工提示使用动态过滤器,并使用动态分区裁剪方法先过滤分区再使用动态过滤器。

2021-04-07

  • 华北2(北京)

  • 华东2(上海)

  • 华北3(张家口)

  • 华东1(杭州)

  • 华南1(深圳)

  • 西南1(成都)

动态过滤器(Dynamic Filter)

03月

功能名称

功能描述

发布时间

发布地域

相关文档

MaxCompute Project全量作业或Project全量SQL作业超时监控告警功能发布

MaxCompute支持通过云监控配置阈值报警规则,监控作业运行时长。当作业运行超时后,系统会将报警信息发送至报警联系人,助力及时识别异常作业,提升运维效率。

2021-03-16

  • 华北2(北京)

  • 华东2(上海)

  • 华北3(张家口)

  • 华东1(杭州)

  • 华南1(深圳)

  • 西南1(成都)

作业超时监控告警

MaxCompute SQL支持FROM_JSON/TO_JSON函数

FROM_JSON函数可以将JSON转换成MaxCompute的数据类型,或提取JSON中的信息,根据JSON字符串jsonStr和schema信息,返回ARRAY、MAP或STRUCT类型。TO_JSON函数可以将给定的复杂类型ARRAY、MAP或STRUCT,以JSON字符串格式输出。

2021-03-16

全部地域

字符串函数

MaxCompute SQL支持UPDATE/DELETE/MERGE INTO语法(公测)

UPDATE/DELETE是MaxCompute新支持的在行级别操作表或者分区数据的语句。相比之前订正表或者分区中的少量数据,也需要读取全量数据,关联生成新数据之后再INSERT OVERWRITE全量写回的方法,UPDATE/DELETE操作读写数据量都显著下降。

当您对目标表的一次操作包括INSERT、UPDATE、DELETE逻辑时,MERGE INTO功能可以用一条SQL语句进行一次扫描完成全部操作,执行效率更高。同时,MERGE INTO任务具备原子性,任一内部逻辑处理失败,则整体作业执行失败,避免同一批操作部分逻辑无法回退或重做的问题。您需要创建Transactional表才能使用UPDATE/DELETE/MERGE INTO功能。并且因为大数据系统保证任务级别的ACID,当作业并发运行且操作的目标表相同时,可能会出现作业冲突。需要注意的是目前UPDATE/DELETE/MERGE INTO处于公测阶段,不收取计算费用,但公测期间也暂时不对您使用此功能用于生产的作业和数据提供保证,重要数据请做好备份。

2021-03-16

全部地域

02月

功能名称

功能描述

发布时间

发布地域

相关文档

MaxCompute 湖仓一体功能商业化发布

MaxCompute湖仓一体方案通过数据仓库 MaxCompute、数据湖(对象存储OSS或Hadoop HDFS)共同实现。本次发布两种构建湖仓一体的方式:

  • 与阿里云OSS+DLF构建湖仓一体能力:通过MaxCompute和OSS实现。该方式需要配套使用阿里云产品数据湖构建DLF(Data Lake Formation)。数据湖的元数据(Schema)全部位于DLF中。MaxCompute可以利用DLF对湖数据的元数据管理能力,提升对OSS半结构化格式(AVRO、CSV、JSON、PARQUET、ORC)数据的处理能力。

  • 与Hadoop HDFS构建湖仓一体能力:通过MaxCompute和Hadoop HDFS(包括本地机房搭建、基于云上虚拟机搭建以及阿里云E-MapReduce等)实现。您需要填写MaxCompute湖仓一体方案使用申请表,提交申请后,MaxCompute团队技术人员会联系并协助您完成后续操作。

2021-02-26

  • 华北2(北京)

  • 华东2(上海)

  • 华东1(杭州)

MaxCompute湖仓一体概述

MaxCompute支持云HBase外部表(公测)

MaxCompute支持通过专有网络连接方案,访问用户的云HBase。用户完成网络连通和授权,可以创建HBase外部表,通过Hive提供的HBaseStorageHandler读写HBase中的表的数据。使用HBase外部表,可以同步HBase中的数据到MaxCompute进行后续ETL处理,也可以关联HBase外部表进行联邦计算,或将MaxCompute数据输出到HBase表。目前读写HBase外部表处于公测阶段,不收取计算费用,也暂时不保证SLA。

2021-02-08

  • 华北2(北京)

  • 华东2(上海)

  • 华北3(张家口)

  • 华东1(杭州)

HBase外部表(HBase标准版或增强版)

MaxCompute命令行支持关闭表头显示,便于Shell调用

在Shell(或Windows命令行)执行窗口,用户可能会需要使用odpscmd -e SQL语句执行得到的动态返回值,Shell的变量会获取这个动态返回值,然后在Shell中执行后续作业。此场景需要返回值不包含运行信息、表头等额外信息。您可以通过set odps.sql.select.output.format={needHeader:false,fieldDelim:""};关掉表头显示,将计算结果stdout部分输出到目标句柄。

2021-02-08

全部地域

使用本地客户端(odpscmd)连接

MaxCompute外部表OSS写入场景能力增强

MaxCompute支持使用OSS的分片上传(Multipart Upload)功能,在INSERT操作向OSS外部表写入数据时,提高写数据效率。此外MaxCompute写入到OSS外部表的数据,会存储在LOCATION目录下的.odps文件夹中,并维护了一个.meta文件,用于保证MaxCompute数据的一致性。.odps文件夹中的内容只有MaxCompute能正确处理,其他引擎读取可能报错。MaxCompute新增 odps.sql.unstructured.oss.commit.mode属性,设置为true时(默认为false),MaxCompute使用分片上传功能,且以two-phase commit的方式保证数据的一致性,同时也不会有.odps目录以及.meta文件,以便兼容其他数据处理引擎读取。

2021-02-08

全部地域

将数据写入OSS

MaxCompute外部表Hive兼容模式支持用户自定义Serde类

MaxCompute提供了兼容Hive Serde接口处理开源格式数据的能力,并对各种常见的数据格式都有内建的默认的Serde Class进行处理。如果用户有数据格式要指定自定义的ROW FORMAT SERDE,在建外部表的时候需要指定依赖的资源,添加JAR包,并在建表时定义using jar的方式,使用自定义的Serde类实现外部表对特殊数据格式的兼容。

2021-02-08

全部地域

支持开源格式数据

MaxCompute内建函数新增或增强

变更点如下:

  • 增强日期函数datedatediffdatepartdatetrunc对DATE、TIMESTAMP日期数据类型的支持。

  • 新增字符串函数parse_url对URL进行解析;新增base64unbase64函数实现二进制和BASE64格式字符串互转。

  • 聚合函数增加过滤条件表达式支持,可以对select子句中某个聚合函数指定过滤条件,便于您在同一个聚合语句中单独控制某个聚合函数的数据范围。新增count_if函数对满足if条件的记录进行计数。

  • 其他函数新增stack,将指定数据分隔为n行,兼容Hive和Spark SQL函数用法。新增get_user_id获取当前账号的账号ID。新增array_intersect,用于计算两个array的交集。sort_array增加isAsc参数,对给定数组排序时让用户选择是升序还是降序,默认是升序。

2021-02-08

全部地域

MaxCompute推出Freeride及Analyze两种优化器元数据收集工具

MaxCompute目前提供两种方式收集表的元数据:

  • 异步收集(Analyze):需要您通过命令对表进行主动、异步收集。扫描表数据会产生计费。

  • 同步收集(Freeride):需要您在create table ... as ...insert语句前设置运行参数,配置收集计划启用Freeride功能,在数据生成的同时,自动收集列统计信息。这种方式更加自动化,但对查询时延有影响。

2021-02-08

全部地域

优化器

MaxCompute支持RDS外部表(公测)

MaxCompute支持通过专有网络连接方案,访问用户的RDS。用户完成网络连通和授权,可以创建RDS外部表并读写RDS中的数据。使用RDS外部表,用户可以同步RDS中的数据(例如维度数据、业务数据)到MaxCompute进行后续ETL处理,也可以关联RDS外部表进行联邦计算,或将MaxCompute数据输出到RDS数据库。当前读写RDS外部表处于公测阶段,不收取计算费用,也暂时不保证SLA。

2021-02-08

全部地域

RDS MySQL外部表

MaxCompute外部表支持通过JDBC方式读写MC-Hologres(公测)

MaxCompute外部表支持使用数据库JDBC驱动机制访问MC-Hologres数据源数据。您可以使用在MaxCompute上创建MC-Hologres外部表的方式,基于PostgreSQL JDBC驱动查询MC-Hologres数据源的数据。该方式无冗余存储,无需导入导出数据,可实现快速获取查询结果。当前读写MC-Hologres外部表处于公测阶段,不收取计算费用,也暂时不保证SLA。

2021-02-08

全部地域

Hologres外部表

MaxCompute支持通过UNLOAD命令把数据导出到OSS外部存储

MaxCompute支持通过UNLOAD命令导出数据到OSS,方便用户使用OSS存储结构化数据,并方便用户使用OSS上其他计算引擎处理和分析MaxCompute导出的数据。

2021-02-08

全部地域

UNLOAD

MaxCompute SQLML功能商业化发布

MaxCompute SQLML可以让数据工程师、分析师和数据科学家使用SQL语言在MaxCompute中创建、训练和应用机器学习模型,使SQL从业人员利用现有的SQL工具和技能就能应用机器学习的能力,同时无需做数据迁移,实现机器学习的普惠。

2021-02-01

全部地域

01月

功能名称

功能描述

发布时间

发布地域

相关文档

MaxCompute存储服务单价调整

自2021年1月10日起,MaxCompute数据存储服务由阶梯定价调整为固定定价,新定价将降低中小数据规模客户的MaxCompute存储成本:MaxCompute存储由梯度定价(小于等于10 TB单价:0.0072元/GB/天、大于10 TB小于等于100 TB单价:0.006元/GB/天、大于100 TB单价:0.004元/GB/天)调整为统一定价:0.12元/GB/月(即0.004元/GB/天)

2021-01-10

全部地域

存储费用

2020年

12月

功能名称

功能描述

发布时间

发布区域

相关文档

新建Project默认提供Information Schema服务

新建的Project,无需管理员手动安装,默认自动提供Information Schema元数据服务,便于用户查看使用。

2020-12-21

所有区域

项目级别Information Schema

运行中作业快照Information_Schema.Tasks内测发布

以Information_Schema.Tasks视图方式,提供当前运行中作业的详细信息,包括作业列表以及各作业CPU、内存使用大小和资源占比、运行时长等信息。通过该视图,使用人员可以快速定位运行时间较长的慢作业、资源消耗高的大作业,从而有针对性地进行作业优化或资源容量规划。

2020-12-08

无。

元数据视图列表

查询编辑器支持查询加速提升数据分析能力

MaxCompute数据分析查询模式原先是离线模式,此次发布查询模式支持MaxCompute查询加速,对于中、小数据量查询作业将执行时间从分钟级缩减至秒级,即查速度上提升至秒级。 通过MaxCompute查询编辑器发起查询SQL,会优先通过查询加速进行查询。若满足查询加速要求,则秒级返回结果;若不满足查询加速条件,则会回退至离线查询模式,保障查询作业正常执行。结合数据分析的丰富的Web-Excel分析功能,数据分析师可以通过MaxCompute数据分析一站式快速进行数据查询、结果二次分析、分享。MaxCompute查询加速功能主要支持按量计费资源,若项目使用包年包月资源,暂时无法满足查询加速要求。

2020-12-05

所有区域

使用DataWorks连接

11月

功能名称

功能描述

发布时间

发布区域

相关文档

MaxCompute支持消息队列Kafka版通过Connector持续导入数据

MaxCompute与消息队列Kafka版服务紧密集成,借助消息队列Kafka版服务的MaxCompute Sink Connector,无需第三方工具及二次开发,即可满足将指定Topic数据持续导入MaxCompute数据表的需求。极大简化Kafka消息队列数据进入MaxCompute的集成链路,并显著降低开发和运维成本。

2020-11-27

全部区域

使用Kafka(离线与实时)

MaxCompute支持以RAM角色身份访问使用服务

MaxCompute项目空间在云账号、RAM用户基础上,增加对RAM角色的支持。管理员可添加RAM角色到项目空间并对RAM角色赋权,通过STS认证方式登录访问服务,实现无AccessKey认证的安全访问需求。MaxCompute Web控制台支持以STS访问认证,使用RAM角色在Web控制台操作访问MaxCompute项目空间,进行数据分析、数据开发。

2020-11-24

全部区域

用户认证

06月

功能名称

功能描述

发布时间

发布区域

相关文档

新增项目支持选择数据类型版本

通过MaxCompute创建新项目时,您需要指定初始化数据类型版本。

2020-06-30

全部区域

数据类型版本说明

04月

功能名称

功能描述

发布时间

发布区域

相关文档

Policy支持GRANT方式授权

MaxCompute支持通过GRANT命令实现Policy授权,授权操作更加便捷。

2020-04-23

全部区域

Policy权限控制

03月

功能名称

功能描述

发布时间

发布区域

相关文档

新增5个内建函数

MaxCompute新增5个内建函数:TABLE_EXISTS()PARTITION_EXISTS()MUMERIC_HISTOGRAM()PERCENTILE_APPROX()FORMAT_NUMBER()

2020-03-17

全部区域

02月

功能名称

功能描述

发布时间

发布区域

相关文档

支持取消表的生命周期

您可以通过DISABLE LIFECYCLE参数,取消表的生命周期。

2020-02-26

全部区域

生命周期操作

新增CLONE TABLE命令

CLONE TABLE可以复制表数据到另一个表。

2020-02-26

全部区域

CLONE TABLE

升级GROUPING SETS

MaxCompute扩充GROUPING SETS,支持CUBEROLLUPGROUPING SETS嵌套使用。

2020-02-26

全部区域

GROUPING SETS

支持通过HTTPS获取外部表数据

如果需要底层通过HTTPS获取数据,您可以将命令set odps.sql.unstructured.data.oss.use.https=true;与SQL语句一起提交执行。

2020-02-26

全部区域

ORC外部表

外部表支持MSCK REPAIR TABLE语法

MaxCompute支持根据数据所在的OSS文件路径自动补全外部表分区。

2020-02-26

全部区域

ORC外部表

01月

功能名称

功能描述

发布时间

发布区域

相关文档

支持DATE和CHAR数据类型

您可以通过打开MaxCompute数据类型2.0,在创建或读取表的数据时,使用DATE和CHAR数据类型。

2020-01-03

全部区域

数据类型版本说明

2019年

12月

功能名称

功能描述

发布时间

发布区域

相关文档

支持开源地理空间UDF

您可以通过开源地理空间UDF分析空间数据。

2019-12-25

全部区域

UDF(地理空间)

11月

功能名称

功能描述

发布时间

发布区域

相关文档

支持通过Tableau连接MaxCompute

您可以通过MaxCompute JDBC驱动,使用Tableau对MaxCompute上的数据进行可视化分析。

2019-11-18

全部区域

配置JDBC使用Tableau

新增MaxCompute JDBC驱动

MaxCompute JDBC驱动是MaxCompute提供的Java数据库连接(Java Database Connectivity)接口。您可以通过标准的JDBC接口基于MaxCompute执行海量数据的分布式计算查询。

2019-11-18

全部区域

JDBC概述

10月

功能名称

功能描述

发布时间

发布区域

相关文档

支持一次增加或删除多个分区

MaxCompute的DDL语义升级,支持一次增加或删除多个分区的操作。您可以执行批量的分区管理操作,提升数据仓库管理效率。

2019-10-28

全部区域

公告

支持新运算符

新增IS [NOT] DISTINCT FROM和字符串连接操作符||

2019-10-28

全部区域

公告

支持NATURAL JOIN

支持自然连接NATURAL JOIN,提升MaxCompute SQL引擎的JOIN能力。

2019-10-28

全部区域

JOIN

支持指定表的列默认值

您创建表时可以指定列的默认值。

2019-10-28

全部区域

公告

支持LIMIT OFFSET

支持LIMIT OFFSET,提升MaxCompute SQL引擎能力。

2019-10-28

全部区域

SELECT语法

支持odps.sql.orderby.position.alias以及odps.sql.groupby.position.alias

支持odps.sql.orderby.position.alias以及odps.sql.groupby.position.alias,对应ORDER BY和GROUP BY中的整型常量被当做SELECT的列序号处理。

2019-10-28

全部区域

SELECT语法

新增内置函数JSON_TUPLE()EXTRACT()

新增内置函数JSON_TUPLE()EXTRACT(),提升SQL处理能力。

2019-10-28

全部区域

支持通过括号指定JOIN的优先级

支持通过括号指定JOIN的优先级。

2019-10-28

全部区域

JOIN

支持合并分区

如果分区数量多,您可以通过合并分区功能,对数据进行归档。

2019-10-28

全部区域

分区操作

09月

功能名称

功能描述

发布时间

发布区域

相关文档

支持元数据服务

MaxCompute的Information Schema提供了项目元数据及使用历史数据等信息。

2019-09-06

全部区域

Information Schema概述

存储降价

MaxCompute存储计费于2019年9月1日进行降价,原5个阶梯价调整为3个阶梯价,同时阶梯单价向下调整。

2019-09-01

全部区域

无。

07月

功能名称

功能描述

发布时间

发布区域

相关文档

支持Spark服务

Spark on MaxCompute是MaxCompute提供的兼容开源Spark的计算服务。它在统一的计算资源和数据集权限体系之上,提供Spark计算框架,支持您以熟悉的开发使用方式提交运行Spark作业,满足更丰富的数据处理分析需求。

2019-07-23

全部区域

概述

新增西南(成都)区域

MaxCompute服务在西南(成都)区域开通。

2019-07-04

西南(成都)

无。

06月

功能名称

功能描述

发布时间

发布区域

相关文档

UDT支持获取ExecutionContext对象

UDT可以获取 ExecutionContext对象从而访问当前的execution context。

2019-06-25

全部区域

UDT概述

UDT支持函数重载

UDT支持泛型、类继承和变长参数,为您提供灵活的函数定义方式。

2019-06-25

全部区域

UDT概述

UDTF和UDAF支持动态参数

UDAF和UDTF支持动态参数,扩展Resolve注解的语法,使UDF的开发更加灵活。

2019-06-24

全部区域

UDAF和UDTF动态参数说明

UDF支持分区裁剪

UDF支持分区裁剪,为您降低计算成本。

2019-06-24

全部区域

无。

参数化视图

参数化视图支持传入任意表或者其它变量,定制视图。

2019-06-24

全部区域

参数化视图

支持生成建表DDL语句

您可以通过SHOW CREATE TABLE语句生成创建表的SQL DDL语句,方便通过SQL重建Schema。

2019-06-24

全部区域

表操作

支持配置包年包月作业消费监控报警

您可以在阿里云的云监控服务中配置监控报警,监测包年包月作业消费情况。

2019-06-21

全部区域

监控报警