云原生大数据计算服务 MaxCompute：OBJECT TABLE定义

语法

CREATE OBJECT TABLE [IF NOT EXISTS] <objecttable_name> 
WITH SERDEPROPERTIES ('<key>' = '<value>') 
LOCATION '<location>' 
[TBLPROPERTIES ('<key>' = '<value>')] 
[COMMENT '<comment>'] 
;

参数说明

示例

SET odps.namespace.schema=true; 
CREATE OBJECT TABLE ot_demo_day 
WITH serdeproperties ( 
 'odps.properties.rolearn'='acs:ram::xxxxxx:role/aliyunodpsdefaultrole') 
LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/odps-external-****/ottest/';

语法

DESC <objecttable_name>

参数说明

objecttable_name：必填，表名。

示例

DESC ot_demo_day; 

返回结果如下。

+------------------------------------------------------------------------------------+
| Owner:                    ALIYUN$****@test.aliyunid.com                        |
| Project:                  test_objecttable                                         |
| Schema:                   default                                                  |
| TableComment:                                                                      |
+------------------------------------------------------------------------------------+
| CreateTime:               2024-09-02 20:01:56                                      |
| LastDDLTime:              2024-09-02 20:01:56                                      |
| LastModifiedTime:         2024-09-02 20:01:56                                      |
+------------------------------------------------------------------------------------+
| InternalTable: YES      | Size: 0                                                  |
+------------------------------------------------------------------------------------+
| Native Columns:                                                                    |
+------------------------------------------------------------------------------------+
| Field           | Type       | Label | Comment                                     |
+------------------------------------------------------------------------------------+
| key             | varchar(2048) |       | The name of the object.                     |
| size            | bigint     |       | The size of the returned object in bytes.   |
| type            | varchar(32) |       | The type of the object and valid values: Normal, Multipart, Appendable, and Symlink. |
| last_modified   | timestamp  |       | The last modified time of the object.       |
| storage_class   | varchar(32) |       | The storage class of the object.            |
| etag            | varchar(64) |       | The entity tag (ETag). When an object is created, an ETag is created to identify the content of the object. |
| restore_info    | varchar(256) |       | The restoration status of the object.       |
| owner_id        | bigint     |       | The ID of the bucket owner.                 |
| owner_display_name | varchar(256) |       | The display name of the bucket owner.       |
+------------------------------------------------------------------------------------+

返回结果部分列名说明。

语法

SHOW CREATE TABLE <objecttable_name>;

参数说明

objecttable_name：必填，表名。

示例

SHOW CREATE TABLE ot_demo_day; 

返回结果如下。

CREATE OBJECT TABLE IF NOT EXISTS yunqi_object_****.`default`.ot_demo_day 
WITH SERDEPROPERTIES ( 
  'serialization.format'='1', 
  'odps.properties.rolearn'='acs:ram::139699392458****:role/aliyunodpsdefaultrole') 
LOCATION 
  'oss://oss-cn-hangzhou-internal.aliyuncs.com/odps-external-****/ottest/' 
TBLPROPERTIES ( 
  'last_modified_time'='1731478307', 
  'transient_lastDdlTime'='1731478307', 
  'metadata.cache.mode'='manual', 
  'metadata.staleness.seconds'='3600');

手动刷新

每次刷新均为全量元信息同步，您可自主控制刷新的时机与频率。

• 语法

  ALTER TABLE <objecttable_name> REFRESH METADATA;

• 参数说明

  objecttable_name：必填，表名。

• 示例

  ALTER TABLE ot_demo_day REFRESH METADATA;

周期性刷新

如果Object Table映射的OSS目录中的文件经常发生变化，可以按周期刷新元数据。只需要在建表时指定相关参数即可，减少维护的成本。

• 语法

  SET odps.namespace.schema=true;
  SET odps.sql.type.system.odps2 = true;
  
  CREATE OBJECT TABLE ot_demo_day 
  WITH serdeproperties (
   'odps.properties.rolearn'='acs:ram::xxxxxx:role/aliyunodpsdefaultrole'
  )
  location 'oss://oss-cn-hangzhou-internal.aliyuncs.com/odps-external-****/ottest/'
  tblproperties (
    'metadata.cache.mode' = 'periodic',
    'metadata.staleness.seconds' = '3600'
  );
  

• 参数说明

  • metadata.staleness.seconds：刷新周期。对于periodic模式来说，必须要指定这个参数，取值范围为[1, 604800]，表示1秒到1周范围内。该参数并非强制性保障，调度器将尽可能按照该参数进行执行。

  • metadata.cache.mode：刷新触发方式，有两种选择。

    • periodic：周期性触发。

    • manual：手动触发（默认），您可以自主控制触发时机。

查看刷新任务

可以通过如下命令查看历史的刷新任务状态。

SHOW refresh task history FOR object TABLE <object_table_name>;

• 参数说明

  • <object_table_name>必须是一个Object Table；

  • 返回值：执行刷新的实例id（InstanceId）、开始时间（CreateTime）、结束时间（EndTime）、执行状态（Status）。

  • 当执行状态（Status）值为Failed时，可通过wait InstanceId;打印log view查看报错明细。

• 示例

  -- 查看Object Table的历史刷新任务
  SHOW refresh task history for object table ot_demo_day04;
  
  -- 返回结果如下

语法

SELECT * FROM <objecttable_name>;

参数说明

objecttable_name：必填，表名。

示例

-- 您可以查询上传至指定OSS对象目录下的数据，若数据量大，您可以查看5条。
SELECT * FROM  ot_demo_day [limit 5];

GET_DATA_FROM_OSS函数语法

GET_DATA_FROM_OSS函数用于读取一个对象的部分或全部内容，并以二进制形式返回。

BINARY GET_DATA_FROM_OSS (
  STRING <full_object_table_name>,
  STRING <key> 
  [, BIGINT <offset>]              
  [, BIGINT <length>] 
  [, STRING <object_not_found_policy>] 
)

参数说明

示例一

如果需要将GET_DATA_FROM_OSS函数的结果输出为STRING类型，可以嵌套一层STRING函数。

SELECT STRING(
  GET_DATA_FROM_OSS('<project_name>.default.ot_demo_day', key, 0, -1, 'OUTPUT_NULL')
) 
FROM ot_demo_day;

示例二

读取Object Table的全部内容，并以二进制形式返回。默认Object Table的完整路径为<project_name>.default.ot_demo_day，不同参数组合方式如下。

-- 最完整形式。
SELECT GET_DATA_FROM_OSS('<project_name>.default.ot_demo_day', key, 0, -1, 'OUTPUT_NULL') FROM ot_demo_day;

-- 以下写法均与get_data_from_oss('<project_name>.default.ot_demo_day', key, 0, -1, 'OUTPUT_NULL')等价。
SELECT GET_DATA_FROM_OSS('<project_name>.default.ot_demo_day', key) FROM ot_demo_day;

SELECT GET_DATA_FROM_OSS('<project_name>.default.ot_demo_day', key, 0) FROM ot_demo_day;

SELECT GET_DATA_FROM_OSS('<project_name>.default.ot_demo_day', key, 0, -1) FROM ot_demo_day;

SELECT GET_DATA_FROM_OSS('<project_name>.default.ot_demo_day', key, 'OUTPUT_NULL') FROM ot_demo_day;

SELECT GET_DATA_FROM_OSS('<project_name>.default.ot_demo_day', key, 0, 'OUTPUT_NULL') FROM ot_demo_day;

语法

DROP TABLE [IF EXISTS] <objecttable_name>; 

参数说明

objecttable_name：必填，表名。

示例

DROP TABLE IF EXISTS ot_demo_day;

ODPS-0010000:System internal error

• 现象

  报错信息如下：

  ODPS-0010000:System internal error - 
  ActionHandler job failed with failinfo	storage service worker error occured: 
  common/io/oss/oss_file_system_cppsdk.cpp(919): 
  OSSRequestException: Status: -50, RequestId: , 
  ErrorCode: ClientError:-50, Message: E_HTTP_ERROR_CONN_REFUSED

• 问题原因

  创建Object Table时用了OSS的公网连接地址。

• 解决方式

  创建Object Table时location参数中的oss_endpoint需要用内网地址，获取方式见参数说明。

周期性刷新不成功

• 现象

当创建Object Table时设置了周期性刷新的参数，到达刷新周期后，未进行刷新。

• 解决方式

请检查创建Object Table配置的location参数值是否用的是OSS内网网络域名信息，更多创建Object Table详情见参数说明。

周期性刷新任务报错

• 报错信息

  FAILED: ODPS-0010000:System internal error - ActionHandler job failed with failinfo storage service worker error occured: common/io/oss/oss_file_system_cppsdk.cpp(877): OSSRequestException: Status: -50, RequestId: , ErrorCode: ClientError:-50, Message:

• 解决方式

  该报错为内部错误，可以通过工单联系MaxCompute技术支持团队获取支持。