云原生大数据计算服务 MaxCompute：ORC外部表

适用范围

• OSS外部表不支持cluster属性。

• 单个文件大小不能超过2GB，如果文件过大，建议拆分。

• MaxCompute需要与OSS部署在同一地域。

• 支持数据类型。

• 支持压缩格式。

• 支持Schema Evolution。

创建外部表

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name>
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
STORED AS orc
LOCATION '<oss_location>';

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name>
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.orc.OrcSerde'
WITH serdeproperties(
    'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
)
STORED AS orc 
LOCATION '<oss_location>' 
tblproperties (
    '<xxx>'='<yyy>'
);

写入数据

MaxCompute写入语法详情，请参见写入语法说明。

查询分析

• SELECT语法详情，请参见查询语法说明。

• 优化查询计划详情，请参见查询优化。

• ORC外部表支持通过开启PPD（即Predicate Push Down）实现查询优化，需要在SQL前加如下参数：

  PPD参数需在Native模式下使用，即Native开关需为true。

  -- 开启orc native reader。
  SET odps.ext.oss.orc.native-true;
  
  -- 开启orc ppd。
  SET odps.storage.orc.use.predicate.pushdown=true; 

场景示例

创建以SNAPPY压缩的ORC格式外表，并进行数据读取和写入操作。

1. 前置准备

   1. 已创建MaxCompute项目。

   2. 已准备好OSS存储空间（Bucket）、OSS目录。具体操作请参见创建存储空间、管理目录。

      由于MaxCompute只在部分地域部署，跨地域的数据连通性可能存在问题，因此建议Bucket与MaxCompute项目所在地域保持一致。

   3. 授权

      1. 具备访问OSS的权限。阿里云账号（主账号）、RAM用户或RAMRole身份可以访问OSS外部表，授权信息请参见OSS的STS模式授权。

      2. 已具备在MaxCompute项目中创建表（CreateTable）的权限。表操作的权限信息请参见MaxCompute权限。

2. 准备SNAPPY格式数据文件。

   在示例数据的oss-mc-testBucket中创建orc_snappy/dt=20250526目录层级，并将snappy文件存放在分区目录dt=20250526下。

3. 创建SNAPPY压缩格式的ORC外表。

   CREATE EXTERNAL TABLE orc_data_type_snappy
   (
       vehicleId INT,
       recordId INT,
       patientId INT,
       calls INT,
       locationLatitute DOUBLE,
       locationLongitude DOUBLE,
       recordTime STRING,
       direction STRING
   )
   PARTITIONED BY (dt STRING )
   ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.orc.OrcSerde'
   WITH serdeproperties (
    'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
   ) 
   STORED AS ORC  
   LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss-mc-test/orc_snappy/'
   tblproperties (
       'mcfed.orc.compress'='SNAPPY');

4. 引入分区数据。当创建的OSS外部表为分区表时，需要额外执行引入分区数据的操作，详情请参见补全OSS外部表分区数据语法。

   -- 引入分区数据
   MSCK REPAIR TABLE orc_data_type_snappy ADD PARTITIONS;

5. 读取ORC外表数据。

   SELECT * FROM orc_data_type_snappy WHERE dt=20250526 LIMIT 10;

   返回结果如下：

   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
   | vehicleid  | recordid   | patientid  | calls      | locationlatitute | locationlongitude | recordtime     | direction  | dt         |
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
   | 1          | 12         | 76         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:10 | SW         | 20250526   |
   | 1          | 1          | 51         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:00 | S          | 20250526   |
   | 1          | 2          | 13         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:01 | NE         | 20250526   |
   | 1          | 3          | 48         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:02 | NE         | 20250526   |
   | 1          | 4          | 30         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:03 | W          | 20250526   |
   | 1          | 5          | 47         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:04 | S          | 20250526   |
   | 1          | 6          | 9          | 1          | 46.81006         | -92.08174         | 9/14/2014 0:05 | S          | 20250526   |
   | 1          | 7          | 53         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:06 | N          | 20250526   |
   | 1          | 8          | 63         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:07 | SW         | 20250526   |
   | 1          | 9          | 4          | 1          | 46.81006         | -92.08174         | 9/14/2014 0:08 | NE         | 20250526   |
   | 1          | 10         | 31         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:09 | N          | 20250526   |
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+

6. 写入数据至ORC外表，并查询。

   INSERT INTO orc_data_type_snappy PARTITION (dt ='20250526') 
     VALUES (1,16,76,1,46.81006,-92.08174,'9/14/2014 0:10','SW');
   
   -- 查询新写入的数据
   SELECT * FROM orc_data_type_snappy WHERE dt = '20250526' AND recordid=16;

   返回结果如下：

   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
   | vehicleid  | recordid   | patientid  | calls      | locationlatitute | locationlongitude | recordtime     | direction  | dt         |
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+
   | 1          | 16         | 76         | 1          | 46.81006         | -92.08174         | 9/14/2014 0:10 | SW         | 20250526   |
   +------------+------------+------------+------------+------------------+-------------------+----------------+------------+------------+

支持数据类型

MaxCompute数据类型详情请参见1.0数据类型版本、2.0数据类型版本。

• JNI模式（读表时不使用Native ORC Reader）：set odps.ext.oss.orc.native=false;，支持读写。

• Native模式（读表时使用Native ORC Reader）：set odps.ext.oss.orc.native=true;，仅支持读。

支持压缩格式

• 当读写压缩属性的OSS文件时，需要在建表语句中添加with serdeproperties属性配置，详情请参见with serdeproperties属性参数。

• 支持读写的数据文件格式：以SNAPPY、ZLIB方式压缩的ORC。

支持Schema Evolution

ORC外部表的schema和文件列之间有两种映射关系，按位置映射和按名称映射。

• 按位置映射：创建外表时配置参数'mcfed.orc.schema.resolution'='position'或者不配置（即默认值），表的列顺序必须与文件中字段的顺序完全一致，系统根据位置或列号来匹配。

• 按名称映射：创建外表时配置参数'mcfed.orc.schema.resolution'='name'，系统会根据列名自动匹配，不再依赖顺序。

下表中的数据兼容问题说明是指：已经进行Schema Evolution操作后的外表，针对“符合修改后的Schema结构的数据”是否可以正常读取；针对于“存量旧Schema数据”（即和修改后schema不匹配的存量数据）是否可以正常读取。