公告

2021年4月20日-新建MaxCompute项目支持标准的OUTER JOIN ON行为

--构造数据。
CREATE TABLE t1 AS SELECT * FROM VALUES (1, 20180101),(2, 20180101),(2, 20180102) t (key, ds);
CREATE TABLE t2 AS SELECT * FROM VALUES (1, 20180101),(3, 20180101),(2, 20180102) t (key, ds);

--Script 1：过滤条件在ON中。
SELECT t1.*,t2.* 
FROM t1 
LEFT OUTER JOIN t2 
ON t1.key = t2.key and t1.ds='20180101';

--Script 2：过滤条件在子查询中。
SELECT a.*,t2.* 
FROM (SELECT * FROM t1 WHERE t1.ds='20180101') a 
LEFT OUTER JOIN t2 
ON a.key = t2.key;

--Script 3：过滤条件在WHERE子句中。
SELECT t1.*,t2.* 
FROM t1 
LEFT OUTER JOIN t2 
ON t1.key = t2.key 
WHERE t1.ds='20180101';

这是一个非标准的行为。在Script 1中，如果t1.ds中有不是20180101的值，在标准情况下，LEFT OUTER JOIN应该保留左表全部的值，左关联t2表的数据，匹配返回对应行的数据或返回NULL。但Script 2或Script 3中，t1.ds中不是20180101的值会被过滤掉不再输出，与Script 1的结果不一致。

为兼容标准行为，MaxCompute将修改该默认行为。如果您需要对t1表数据过滤，则应该使用Script 2或Script 3方式。

您可以通过如下示例判断当前MaxCompute项目采用了哪种行为。

--基于上文构造数据。
SELECT t1.*, t2.* 
FROM t1 FULL OUTER JOIN t2 
ON t1.key = t2.key and t1.ds='20180101' and t2.ds='20180101';

--旧的行为返回结果如下。
| key        | ds         | key2       | ds2        |
+------------+------------+------------+------------+
| 2          | 20180101   | NULL       | NULL       |
| 1          | 20180101   | 1          | 20180101   |
| NULL       | NULL       | 3          | 20180101   |

--新的行为返回结果如下。
| key        | ds         | key2       | ds2        |
+------------+------------+------------+------------+
| NULL       | NULL       | 2          | 20180102   |
| 2          | 20180101   | NULL       | NULL       |
| 2          | 20180102   | NULL       | NULL       |
| 1          | 20180101   | 1          | 20180101   |
| NULL       | NULL       | 3          | 20180101   |

2021年4月20日-新建项目的GET_JSON_OBJECT返回行为由JSON保留字符转义变为保留原始字符串

变更前，GET_JSON_OBJECT函数对于字符串类型的返回结果采用了转义的方式进行输出，导致诸如换行符（\n）、引号（"）等JSON保留字符使用字符串'\n'、'\"'显示，这是一个非标准的行为。

变更后，GET_JSON_OBJECT函数会保留原始的字符串，返回行为更标准，处理数据更方便，性能更好。返回值仍是一个JSON字符串，可以继续当做JSON来解析，而不再需要额外使用REPLACE或REGEXP_REPLACE等函数替换反斜线。

自2021年4月20日及之后新创建的MaxCompute项目中，GET_JSON_OBJECT函数的返回行为默认为保留原始字符串。2021年4月20日之前创建的MaxCompute项目中，GET_JSON_OBJECT函数的返回行为默认为JSON保留字符转义，以免行为变更对存量作业造成影响。

select get_json_object('{"a":"[\\"1\\"]"}', '$.a');
--JSON保留字符转义的行为返回：
[\"1\"]

--保留原始字符串的行为返回：
["1"]

2020年12月14日-MaxCompute部分日期函数的输入参数校验行为变更

2020年10月13日-SQL兼容性升级

2020年7月24日-MaxCompute新增聚合函数

2020年7月29日-新增项目的默认数据类型版本从1.0变更为2.0

MaxCompute通过DataWorks控制台新增项目时，项目的默认数据类型版本从1.0变更为2.0。该变更将于2020年7月29日到2020年8月6日陆续对国际站各个区域进行升级。如果您之前创建过存量项目，新建项目时需要选择合适的数据类型版本。不同数据类型版本的项目进行数据交互时可能会引起兼容性问题。

2020年6月29日-新增项目支持选择数据类型版本功能上线

MaxCompute新增项目初始化数据类型版本的功能将于2020年6月29日到2020年7月15日陆续对国际站各个区域进行升级。升级完成后，您在创建新项目时，将需要选择初始化数据类型版本。

2020年3月15日-MaxCompute存储降价

(100-1)GB*0.0028 USD/GB/天 
+（1024-100）GB*0.0014 USD/GB/天 
+（10240-1024）GB*0.0013 USD/GB/天 
+（102400-10240）GB*0.0011 USD/GB/天 
+（10240*10240-102400）GB*0.0009 USD/GB/天
=966.486 USD/天

(10240-1)GB*0.0011 USD/GB/天
+（102400-10240）GB*0.0009 USD/GB/天 
+（10240*10240-102400）GB*0.0006 USD/GB/天
=661.9125 USD/天

2020年2月24日-SQL兼容性升级

• GET_IDCARD_AGE函数行为变更：
  • Get_Idcard_Age函数规则中”如果当前年份减去出生年份差值大于100则返回NULL“，升级为“返回年份减去出生年份差值”，即不存在大于100则返回NULL的情况。例如，get_idcard_age('110101190001011009')结果返回NULL，升级后结果为120。
  • 如果您希望升级后，该函数返回结果保留现状，则需要找出对应的查询，评估后进行改造。可以通过get_idcard_age结果加IF函数或者CASE WHEN表达式来解决。

    原始查询	修改后查询
    GET_IDCARD_AGE(idcardno)	if(GET_IDCARD_AGE(idcardno) > 100, NULL, GET_IDCARD_AGE(idcardno))
    GET_IDCARD_AGE(idcardno)	CASE WHEN GET_IDCARD_AGE(idcardno) > 100 THEN NULL ELSE GET_IDCARD_AGE(idcardno) END

• CONCAT_WS函数行为变更：
  • 升级前，在查询运行时CONCAT_WS函数没有打开Hive兼容并且有3个及以上参数，其中有一个参数是ARRAY类型时，参数中的array item不会出现在最终的结果中。例如，concat_ws(',', array('a'), array('b', 'c'))，期望结果为"a,b,c"，但是当前结果为",,,"。
  • 升级后，无需打开Hive兼容，CONCAT_WS的参数支持STRING类型和ARRAY类型混合。concat_ws(',', array('a'), array('b', 'c'))的结果为"a,b,c"。
• Like%%查询输入为空时返回值变更。
  Like字符匹配函数，当它的输入是空字符串，而Pattern是%%时，当前返回为False；升级后，则返回True。

  --创建表，向表中插入空字符串。
  create table if not exists table_test (a string) lifecycle 3;
  insert into table table_test values ('');
  
  select a like '%%' from table_test;
  
  --当前返回如下。
  +------+
  | _c0  |
  +------+
  | false |
  +------+
  
  --升级后返回如下。
  +------+
  | _c0  |
  +------+
  | true |
  +------+

2019年12月25日-开源地理空间UDF

MaxCompute支持兼容ESRI专门为Apache Hive实现的开源地理空间UDF，您可以将此开源地理空间UDF注册到MaxCompute中，以兼容开源Hive UDF的方式实现地理空间函数使用，详情请参见开源地理空间UDF。

2019年10月11日-MaxCompute SQL新功能

• JOIN与SETOP支持括号指定优先级

  SELECT * FROM src JOIN (src2 JOIN src3 on xxx) ON yyy; 
  SELECT * FROM src UNION ALL (SELECT * FROM src2 UNION ALL SELECT * FROM src3);

  详细内容请参见JOIN和交集、并集和补集。

• 支持odps.sql.orderby.position.alias以及odps.sql.groupby.position.alias
  当打开这两个Flag的时候，对应ORDER BY和GROUP BY中的整型常量被当做SELECT的列序号处理。

  表src的列为key和value
  SELECT * FROM src ORDER BY 1;
  --等同于
  SELECT * FROM src ORDER BY key;

  详细内容请参见SELECT语法。

• 新增内置函数
  • 新增内置函数STRING JSON_TUPLE(STRING json,STRING key1,STRING key2,…)：传入一组key和一个JSON字符串，返回一个元组。JSON_TUPLE() 支持包含中文的JSON数据解析，支持多层嵌套以及包含多重嵌套的数组的JSON数据解析。在需要对同一个JSON字符串多次解析的情况下，相比于多次调用get_json_object，json_tuple可以一次输入多个key，且JSON字符串只被解析一次，效率更高。 详情请参见字符串函数。
  • 新增内置函数INT EXTRACT(datepart from timestamp)：提取日期的一部分，datepart支持YEAR、MONTH、DAY等时间描述，timestamp 为Timestamp类型数据。 详细请参见日期函数。
• 支持指定表的列默认值
  DEFAULT VALUE允许您创建TABLE的时候指定默认值，INSERT的时候如果不指定该列，则插入默认值，举例如下。

  CREATE TABLE t (a bigint default 10, b bigint);
  INSERT INTO TABLE t(b) SELECT 100; 
  --等同于
  INSERT INTO TABLE t(a, b) SELECT 10, 100;

• 支持自然连接
  自然连接（Natural Join）即参与JOIN的两张表根据字段名字自动决定连接字段。支持outer natural join，支持使用using字段执行JOIN，输出字段中公共字段只出现一次，举例如下。

  --表src的列(key1, key2, a1, a2)，表src2的列(key1, key2, b1, b2)
  SELECT * FROM src NATURAL JOIN src2;
  --由于 src 和 src2 有两个同名字段 （key1, key2) ，所以上面的JOIN相当于：
  SELECT src.key1 as key1, src.key2 as key2, src.a1, src.a2, src2.b1, src2.b2 FROM src INNER JOIN src2 ON src.key1 = src2.key1 AND src.key2 = src2.key2;

  详细请参见JOIN。
• 支持LIMIT OFFSET
  OFFSET语句和ORDER BY LIMIT语句配合，可以指定跳过OFFSET数目的行。如下面的语句将src按照key从小到大排序后，输出第11到第20行 （OFFSET 10指定跳过前10行，LIMIT 10指定最多输出10行）。

  SELECT * FROM src ORDER BY key LIMIT 10 OFFSET 10；

  详细请参见SELECT语法。

• 其他内置语法结构
  • 支持IS DISTINCT FROM语法结构： a is distinct from b 相当于 not(a <=> b) ，a is not distinct from b 相当于 a <=> b 。
  • 支持字符串连接操作符（||）： a || b || c 相当于 concat(a, b, c)。

  详细请参见运算符。

• 分区合并

  MaxCompute有分区数量上限6万的限制，当分区数量过多时，可使用合并分区功能，对数仓数据进行归档，降低分区数量。合并分区功能会将同一个表下多个分区数据快速合并成一个分区，并删除之前分区，把数据移动到指定的分区下。语法格式如下，详细内容请参见分区和列操作。

  ALTER TABLE <tableName> MERGE [IF EXISTS] PARTITION(<predicate>) [, PARTITION(<predicate2>) ...] OVERWRITE PARTITION(<fullPartitionSpec>) ;

• Add/Drop Partitions
  支持一次性增加或者删除多个分区，语法格式如下。

  ALTER TABLE t ADD [IF NOT EXISTS] PARTITION (p = '1') PARTITION (p = '2');
  ALTER TABLE t DROP [IF EXISTS]  PARTITION (p = '1'), PARTITION (p = '2');
  --注意ADD多个分区之间没有逗号，DROP的多个分区间有逗号。

2019年8月29日-外表自定义storagehandler实现Outputer接口升级

北京时间2019年8月29日，MaxCompute进行版本升级。期间，您在使用外表自定义storagehandler实现Outputer接口时，如果通过列名而非数字下标获取列数据，可能会引起作业失败。

升级时间：北京时间，2019年8月29日14:00~23:00

升级Region：美国西部1（硅谷）、亚太东南1（新加坡）

2019年8月21日-外表自定义storagehandler实现Outputer接口升级

北京时间2019年8月21日，MaxCompute进行版本升级。期间，您在使用外表自定义storagehandler实现Outputer接口时，如果通过列名而非数字下标获取列数据，可能会引起作业失败。

升级时间：北京时间，2019年8月21日14:00~23:00

升级Region：亚太东北1（东京）、欧洲中部1（法兰克福）、中国（香港）、亚太东南2（悉尼）

影响原因：Outputer.output(Record record)中，传入的record为Outputer的上一个Operator产生的记录，列名可能发生变化，系统无法保证固定列名。

例如，表达式some_function(column_a)产生的列名是一个临时列名。因此，使用record.get(列名)方式来获取列内容的用法都有可能受到影响，建议使用record.get(index)方式获取。Outputer里如需获取表的列名，请调用 DataAttributes.getFullTableColumns()。

如您遇到相关问题，请提交工单咨询。

2019年7月24日-MaxCompute Spark开放

开放Region：华东1、华北2、华南1、美西1、中国（香港）、德国、新加坡、印度。

2019年3月26日-SQL语言功能升级

• 支持Grouping Set多维聚合分析（Cube，Roll up），适配需要对a列做聚合，也要对b列做聚合，或者同时要按照a、b两列做聚合的场景。具体的使用方法请参见GROUPING SETS。
• 支持INTERSECT/MINUS/EXCEPT，具体使用方法请参见交集、并集和补集。
• 通过外表读取OSS上的ORC和Parquet格式的文件时，支持对文件的列裁剪，有效减少IO量，节省计算资源和成本。
• Java UDX类型系统增强：UDF支持Writable参数，具体使用方法请参见Java UDF。

2019年3月1日-MaxCompute 外部表开始收费

从2019年3月1日开始，MaxCompute SQL外部表（处理OSS/Table Store数据）功能开始计费。

一次SQL计算费用=计算输入数据量*SQL价格

2019年1月15日16:00~20:00-中国（香港）Region底层优化

为向您提供更好的产品性能和稳定性，MaxCompute将于北京时间2019年1月15日16:00~20:00对中国（香港）Region底层元数据仓库组件进行优化。在优化期间，中国（香港）Region用户的应用可能出现1分钟左右任务无法提交、运行中任务失败的情况。极端情况下，应用不可用时间将延长至30分钟。请您尽量避免在迁移窗口提交作业。其他Region不受影响。如果您有任何问题，可随时通过企业钉钉群或工单反馈。

2018年12月24日-MaxCompute支持时区配置

MaxCompute Project时区默认是中国的东八区，在用到DATETIME、TIMESTAMP或DATE类型相关的字段以及相关时间内置函数都是按东八区进行计算，2018年12月24日MaxCompute开始支持时区配置，有以下两种方式：

• Session级别： set odps.sql.timezone=<timezoneid>;，该语句需要与计算语句一起提交。

  set odps.sql.timezone=Asia/Tokyo;
  select getdate();
  --结果如下。
  output:
  +------------+
  | _c0        |
  +------------+
  | 2018-10-30 23:49:50 |
  +------------+

• Project级别： setProject odps.sql.timezone=<timezoneid>;，该语句需要Project Owner执行。执行此命令后该Project下相关的时间计算就会取设置后的时区，因此对于原有的任务数据会有影响，所以该操作需谨慎。建议仅对新增Project进行设置，对已有数据的Project不设置。