MaxCompute：Object Table定義

文法

CREATE OBJECT TABLE [IF NOT EXISTS] <objecttable_name> 
WITH SERDEPROPERTIES ('<key>' = '<value>') 
LOCATION '<location>' 
[TBLPROPERTIES ('<key>' = '<value>')] 
[COMMENT '<comment>'] 
;

參數說明

使用樣本

SET odps.namespace.schema=true; 
CREATE OBJECT TABLE ot_demo_day 
WITH serdeproperties ( 
 'odps.properties.rolearn'='acs:ram::xxxxxx:role/aliyunodpsdefaultrole') 
LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/odps-external-****/ottest/';

文法

DESC <object_table_name>

參數說明

object_table_name：必填，表名。

使用樣本

SET odps.namespace.schema=true; 
DESC ot_demo_day; 

返回結果如下。

+------------------------------------------------------------------------------------+
| Owner:                    ALIYUN$****@test.aliyunid.com                        |
| Project:                  test_objecttable                                         |
| Schema:                   default                                                  |
| TableComment:                                                                      |
+------------------------------------------------------------------------------------+
| CreateTime:               2024-09-02 20:01:56                                      |
| LastDDLTime:              2024-09-02 20:01:56                                      |
| LastModifiedTime:         2024-09-02 20:01:56                                      |
+------------------------------------------------------------------------------------+
| InternalTable: YES      | Size: 0                                                  |
+------------------------------------------------------------------------------------+
| Native Columns:                                                                    |
+------------------------------------------------------------------------------------+
| Field           | Type       | Label | Comment                                     |
+------------------------------------------------------------------------------------+
| key             | varchar(2048) |       | The name of the object.                     |
| size            | bigint     |       | The size of the returned object in bytes.   |
| type            | varchar(32) |       | The type of the object and valid values: Normal, Multipart, Appendable, and Symlink. |
| last_modified   | timestamp  |       | The last modified time of the object.       |
| storage_class   | varchar(32) |       | The storage class of the object.            |
| etag            | varchar(64) |       | The entity tag (ETag). When an object is created, an ETag is created to identify the content of the object. |
| restore_info    | varchar(256) |       | The restoration status of the object.       |
| owner_id        | bigint     |       | The ID of the bucket owner.                 |
| owner_display_name | varchar(256) |       | The display name of the bucket owner.       |
+------------------------------------------------------------------------------------+

返回結果部分列名說明。

文法

SHOW CREATE TABLE <object_table_name>;

參數說明

object_table_name：必填，表名。

使用樣本

SET odps.namespace.schema=true; 
SHOW CREATE TABLE ot_demo_day; 

返回結果如下。

CREATE OBJECT TABLE IF NOT EXISTS yunqi_object_****.`default`.ot_demo_day 
WITH SERDEPROPERTIES ( 
  'serialization.format'='1', 
  'odps.properties.rolearn'='acs:ram::139699392458****:role/aliyunodpsdefaultrole') 
LOCATION 
  'oss://oss-cn-hangzhou-internal.aliyuncs.com/odps-external-****/ottest/' 
TBLPROPERTIES ( 
  'last_modified_time'='1731478307', 
  'transient_lastDdlTime'='1731478307', 
  'metadata.cache.mode'='manual', 
  'metadata.staleness.seconds'='3600');

手動重新整理

每次重新整理均為全量元資訊同步，您可自主控制重新整理的時機與頻率。

• 文法

  ALTER TABLE <objecttable_name> REFRESH METADATA;

• 參數說明

  objecttable_name：必填，表名。

• 使用樣本

  SET odps.namespace.schema=true; 
  ALTER TABLE ot_demo_day REFRESH METADATA;

周期性重新整理

如果Object Table映射的OSS目錄中的檔案經常發生變化，可以按周期重新整理中繼資料。只需要在建表時指定相關參數即可，減少維護的成本。

• 文法

  SET odps.namespace.schema=true;
  SET odps.sql.type.system.odps2 = true;
  
  CREATE OBJECT TABLE ot_demo_day 
  WITH serdeproperties (
   'odps.properties.rolearn'='acs:ram::xxxxxx:role/aliyunodpsdefaultrole'
  )
  location 'oss://oss-cn-hangzhou-internal.aliyuncs.com/odps-external-****/ottest/'
  tblproperties (
    'metadata.cache.mode' = 'periodic',
    'metadata.staleness.seconds' = '3600'
  );
  

• 參數說明

  • metadata.staleness.seconds：重新整理周期。對於periodic模式來說，必須要指定這個參數，取值範圍為[1, 604800]，表示1秒到1周範圍內。該參數並非強制性保障，調度器將儘可能按照該參數進行執行。

  • metadata.cache.mode：重新整理觸發方式，有三種選擇。

    • periodic：周期性觸發。

    • crontab：定時重新整理。

    • manual：手動觸發（預設），可以自主控制觸發時機。

定時重新整理

如果Object Table映射的OSS目錄中的檔案經常發生變化，可以設定定時重新整理中繼資料。只需要在建表時指定相關參數即可，減少維護的成本。

• 文法

  SET odps.namespace.schema=true;
  SET odps.sql.type.system.odps2 = true;
  
  CREATE OBJECT TABLE ot_demo_day 
  WITH SERDEPROPERTIES (
   'odps.properties.rolearn'='acs:ram::xxxxxx:role/aliyunodpsdefaultrole'
  )
  LOCATION 'oss://oss-cn-region-internal.aliyuncs.com/odps-external-****/ottest/'
  TBLPROPERTIES (
    'metadata.cache.mode' = 'crontab',
    'metadata.crontab.expression' = 'your_timed_expression'
  );

• 參數說明

  • metadata.crontab.expression：定時任務運算式（即cron運算式格式）。如需設定每天下午2點觸發一次，則可以表示為0 0 14 * * ?，即0 秒、0 分、14 時（即 14:00 = 下午2點）、* 每天、* 每月、? 不指定星期（與“日”互斥，避免衝突）。

  • metadata.cache.mode：重新整理觸發方式，有三種選擇。

    • crontab：定時重新整理。

    • periodic：周期性觸發。

    • manual：手動觸發（預設），可以自主控制觸發時機。

查看重新整理任務

可以通過如下命令查看歷史的重新整理任務狀態。

SHOW refresh task history FOR object TABLE <object_table_name>;

• 參數說明

  • <object_table_name>必須是一個Object Table；

  • 傳回值：執行重新整理的執行個體ID（InstanceId）、開始時間（CreateTime）、結束時間（EndTime）、執行狀態（Status）。

  • 當執行狀態（Status）值為Failed時，可通過wait InstanceId;列印log view查看報錯明細。

• 使用樣本

  -- 查看Object Table的歷史重新整理任務
  SET odps.namespace.schema=true; 
  SHOW refresh task history for object table ot_demo_day04;
  
  -- 返回結果。
  ID = 20260105*******f
  +---------------------------------------------------------------------------------------------------+
  | Project:                  test_project                                                                              |
  | Schema:                   default                                                                                           |
  | Task:                     ***                        |
  +---------------------------------------------------------------------------------------------------+
  | History:                                                                                          |
  +---------------------------------------------------------------------------------------------------+
  | InstanceId                       | CreateTime             | EndTime                | Status       |
  +---------------------------------------------------------------------------------------------------+
  | 20260105******************ks     | 2026-01-05 14:12:00    | 2026-01-05 14:12:04    | Terminated   |
  | 20260105******************y3     | 2026-01-05 14:10:00    | 2026-01-05 14:10:03    | Terminated   |
  +---------------------------------------------------------------------------------------------------+
  
  OK

文法

SELECT * FROM <object_table_name>;

參數說明

object_table_name：必填，表名。

使用樣本

-- 查詢上傳至指定OSS對象目錄下的資料，若資料量大，可以選擇查看5條。
SET odps.namespace.schema=true; 
SELECT * FROM  ot_demo_day [limit 5];

文法

DROP TABLE [IF EXISTS] <object_table_name>; 

參數說明

object_table_name：必填，表名。

使用樣本

SET odps.namespace.schema=true;
DROP TABLE IF EXISTS ot_demo_day;

ODPS-0010000:System internal error

• 現象

  報錯資訊如下：

  ODPS-0010000:System internal error - 
  ActionHandler job failed with failinfo	storage service worker error occured: 
  common/io/oss/oss_file_system_cppsdk.cpp(919): 
  OSSRequestException: Status: -50, RequestId: , 
  ErrorCode: ClientError:-50, Message: E_HTTP_ERROR_CONN_REFUSED

• 問題原因

  建立Object Table時用了OSS的公網串連地址。

• 解決方式

  建立Object Table時location參數中的oss_endpoint需要用內網地址，擷取方式見參數說明。若修改為內網地址後仍然報錯，可以通過工單聯絡MaxCompute支援人員團隊擷取支援。

周期性重新整理不成功

• 現象

當建立Object Table時設定了周期性重新整理的參數，到達重新整理周期後，仍未進行重新整理。

• 解決方式

請檢查建立Object Table配置的location參數值是否用的是OSS內網網路網域名稱資訊，更多建立Object Table詳情見參數說明。