MaxCompute:Definisi tabel objek

Sintaks

CREATE OBJECT TABLE [IF NOT EXISTS] <objecttable_name> 
WITH SERDEPROPERTIES ('<key>' = '<value>') 
LOCATION '<location>' 
[TBLPROPERTIES ('<key>' = '<value>')] 
[COMMENT '<comment>'] 
;

Parameter

Contoh

SET odps.namespace.schema=true; 
CREATE OBJECT TABLE ot_demo_day 
WITH serdeproperties ( 
 'odps.properties.rolearn'='acs:ram::xxxxxx:role/aliyunodpsdefaultrole') 
LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/odps-external-****/ottest/';

Sintaks

DESC <object_table_name>

Parameter

object_table_name: Wajib. Nama tabel.

Contoh

SET odps.namespace.schema=true; 
DESC ot_demo_day; 

Hasil berikut dikembalikan:

+------------------------------------------------------------------------------------+
| Owner:                    ALIYUN$****@test.aliyunid.com                        |
| Project:                  test_objecttable                                         |
| Schema:                   default                                                  |
| TableComment:                                                                      |
+------------------------------------------------------------------------------------+
| CreateTime:               2024-09-02 20:01:56                                      |
| LastDDLTime:              2024-09-02 20:01:56                                      |
| LastModifiedTime:         2024-09-02 20:01:56                                      |
+------------------------------------------------------------------------------------+
| InternalTable: YES      | Size: 0                                                  |
+------------------------------------------------------------------------------------+
| Native Columns:                                                                    |
+------------------------------------------------------------------------------------+
| Field           | Type       | Label | Comment                                     |
+------------------------------------------------------------------------------------+
| key             | varchar(2048) |       | The name of the object.                     |
| size            | bigint     |       | The size of the returned object in bytes.   |
| type            | varchar(32) |       | The type of the object and valid values: Normal, Multipart, Appendable, and Symlink. |
| last_modified   | timestamp  |       | The last modified time of the object.       |
| storage_class   | varchar(32) |       | The storage class of the object.            |
| etag            | varchar(64) |       | The entity tag (ETag). When an object is created, an ETag is created to identify the content of the object. |
| restore_info    | varchar(256) |       | The restoration status of the object.       |
| owner_id        | bigint     |       | The ID of the bucket owner.                 |
| owner_display_name | varchar(256) |       | The display name of the bucket owner.       |
+------------------------------------------------------------------------------------+

Tabel berikut menjelaskan kolom-kolom utama dalam hasil tersebut.

Sintaks

SHOW CREATE TABLE <object_table_name>;

Parameter

object_table_name: Wajib. Nama tabel.

Contoh

SET odps.namespace.schema=true; 
SHOW CREATE TABLE ot_demo_day; 

Hasil berikut dikembalikan:

CREATE OBJECT TABLE IF NOT EXISTS yunqi_object_****.`default`.ot_demo_day 
WITH SERDEPROPERTIES ( 
  'serialization.format'='1', 
  'odps.properties.rolearn'='acs:ram::139699392458****:role/aliyunodpsdefaultrole') 
LOCATION 
  'oss://oss-cn-hangzhou-internal.aliyuncs.com/odps-external-****/ottest/' 
TBLPROPERTIES ( 
  'last_modified_time'='1731478307', 
  'transient_lastDdlTime'='1731478307', 
  'metadata.cache.mode'='manual', 
  'metadata.staleness.seconds'='3600');

Penyegaran manual

Setiap refresh melakukan sinkronisasi penuh metadata. Anda dapat mengontrol waktu dan frekuensi refresh tersebut.

• Sintaks

  ALTER TABLE <objecttable_name> REFRESH METADATA;

• Parameter

  object_table_name: Wajib. Nama tabel.

• Contoh

  SET odps.namespace.schema=true; 
  ALTER TABLE ot_demo_day REFRESH METADATA;

Refresh periodik

Jika file dalam direktori OSS yang dipetakan oleh Tabel Objek sering berubah, Anda dapat mengonfigurasi refresh metadata periodik. Hal ini mengurangi biaya maintenance dengan menentukan parameter terkait saat membuat tabel.

• Sintaks

  SET odps.namespace.schema=true;
  SET odps.sql.type.system.odps2 = true;
  
  CREATE OBJECT TABLE ot_demo_day 
  WITH serdeproperties (
   'odps.properties.rolearn'='acs:ram::xxxxxx:role/aliyunodpsdefaultrole'
  )
  location 'oss://oss-cn-hangzhou-internal.aliyuncs.com/odps-external-****/ottest/'
  tblproperties (
    'metadata.cache.mode' = 'periodic',
    'metadata.staleness.seconds' = '3600'
  );
  

• Parameter

  • metadata.staleness.seconds: Interval refresh. Parameter ini wajib untuk mode periodic. Nilainya dapat berkisar antara [1, 604800], yang merepresentasikan rentang 1 detik hingga 1 minggu. Parameter ini merupakan jaminan upaya terbaik, dan penjadwal akan mencoba menjalankan refresh sedekat mungkin dengan interval yang ditentukan.

  • metadata.cache.mode: Mode refresh. Opsi yang tersedia adalah:

    • periodic: Pemicu periodik.

    • crontab: Refresh terjadwal.

    • manual: Pemicu manual (default). Anda dapat mengontrol waktu pemicunya.

Refresh terjadwal

Jika file dalam direktori OSS yang dipetakan oleh Tabel Objek sering berubah, Anda dapat menjadwalkan refresh metadata. Hal ini mengurangi biaya maintenance dengan menentukan parameter terkait saat membuat tabel.

• Sintaks

  SET odps.namespace.schema=true;
  SET odps.sql.type.system.odps2 = true;
  
  CREATE OBJECT TABLE ot_demo_day 
  WITH SERDEPROPERTIES (
   'odps.properties.rolearn'='acs:ram::xxxxxx:role/aliyunodpsdefaultrole'
  )
  LOCATION 'oss://oss-cn-region-internal.aliyuncs.com/odps-external-****/ottest/'
  TBLPROPERTIES (
    'metadata.cache.mode' = 'crontab',
    'metadata.crontab.expression' = 'your_timed_expression'
  );

• Parameter

  • metadata.crontab.expression: Ekspresi cron yang menentukan jadwal. Misalnya, untuk memicu refresh setiap hari pukul 14.00, Anda dapat menggunakan ekspresi 0 0 14 * * ?, yang berarti 0 detik, 0 menit, jam 14 (pukul 14.00), setiap hari, setiap bulan, dan ? untuk tidak menentukan hari dalam minggu (saling eksklusif dengan field hari-bulan untuk menghindari konflik).

  • metadata.cache.mode: Mode refresh. Opsi yang tersedia adalah:

    • crontab: Refresh terjadwal.

    • periodic: Pemicu periodik.

    • manual: Pemicu manual (default). Anda dapat mengontrol waktu pemicunya.

Menampilkan tugas refresh

Anda dapat menjalankan perintah berikut untuk melihat riwayat tugas refresh.

SHOW refresh task history FOR object TABLE <object_table_name>;

• Parameter

  • <object_table_name> harus berupa tabel objek.

  • Nilai kembalian: ID instans tugas refresh (InstanceId), waktu pembuatan (CreateTime), waktu selesai (EndTime), dan status (Status).

  • Jika Status bernilai Failed, Anda dapat menjalankan wait InstanceId; untuk melihat log dan memeriksa detail error.

• Contoh

  -- Menampilkan tugas refresh historis untuk Tabel Objek.
  SET odps.namespace.schema=true; 
  SHOW refresh task history for object table ot_demo_day04;
  
  -- Hasil berikut dikembalikan.
  ID = 20260105*******f
  +---------------------------------------------------------------------------------------------------+
  | Project:                  test_project                                                                              |
  | Schema:                   default                                                                                           |
  | Task:                     ***                        |
  +---------------------------------------------------------------------------------------------------+
  | History:                                                                                          |
  +---------------------------------------------------------------------------------------------------+
  | InstanceId                       | CreateTime             | EndTime                | Status       |
  +---------------------------------------------------------------------------------------------------+
  | 20260105******************ks     | 2026-01-05 14:12:00    | 2026-01-05 14:12:04    | Terminated   |
  | 20260105******************y3     | 2026-01-05 14:10:00    | 2026-01-05 14:10:03    | Terminated   |
  +---------------------------------------------------------------------------------------------------+
  
  OK

Sintaks

SELECT * FROM <object_table_name>;

Parameter

object_table_name: Wajib. Nama tabel.

Contoh

-- Anda dapat menanyakan data yang diunggah ke direktori OSS yang ditentukan. Jika jumlah datanya besar, Anda dapat membatasi hasil menjadi lima baris.
SET odps.namespace.schema=true; 
SELECT * FROM  ot_demo_day [limit 5];

Sintaks

DROP TABLE [IF EXISTS] <object_table_name>; 

Parameter

object_table_name: Wajib. Nama tabel.

Contoh

SET odps.namespace.schema=true; 
DROP TABLE IF EXISTS ot_demo_day;

ODPS-0010000:System internal error

• Gejala

  Pesan error berikut dilaporkan:

  ODPS-0010000:System internal error - 
  ActionHandler job failed with failinfo	storage service worker error occured: 
  common/io/oss/oss_file_system_cppsdk.cpp(919): 
  OSSRequestException: Status: -50, RequestId: , 
  ErrorCode: ClientError:-50, Message: E_HTTP_ERROR_CONN_REFUSED

• Penyebab

  Anda menggunakan titik akhir publik untuk OSS saat membuat Tabel Objek.

• Solusi

  Saat membuat Tabel Objek, parameter location harus berisi titik akhir internal untuk oss_endpoint. Untuk informasi tentang cara mendapatkan titik akhir internal, lihat Deskripsi parameter. Jika error tetap muncul setelah Anda mengubah alamat ke titik akhir internal, hubungi tim dukungan teknis MaxCompute dengan mengirimkan tiket untuk mendapatkan bantuan.

Refresh periodik gagal

• Gejala

Anda menyetel parameter refresh periodik saat membuat Tabel Objek. Namun, refresh tidak berjalan saat interval tercapai.

• Solusi

Pastikan parameter location yang digunakan untuk membuat Tabel Objek menentukan titik akhir internal OSS. Untuk informasi lebih lanjut tentang membuat Tabel Objek, lihat Parameter.