MaxCompute：Tabel partisi berdasarkan waktu pemasukan data

Sintaks

Gunakan sintaks berikut untuk membuat tabel partisi berdasarkan waktu pemasukan data.

CREATE [OR REPLACE] TABLE [IF NOT EXISTS] <table_name> (_partitiontime <data_type>, <col_name><data_type>... )
[COMMENT <table_comment>]
AUTO PARTITIONED BY (<auto_partition_expression> [AS <auto_partition_column_name>]);
TBLPROPERTIES('ingestion_time_partition'='true');

Parameter:

Contoh

• Contoh 1

  Contoh ini membuat tabel partisi berdasarkan waktu pemasukan data bernama ingestion_sale_detail_hourly yang dipartisi per jam. Definisi tabel menentukan pseudo-kolom bernama _partitiontime bertipe TIMESTAMP. Saat data ditulis ke tabel, sistem secara otomatis mendapatkan waktu pemasukan data, lalu mengisi pseudo-kolom _partitiontime berdasarkan granularitas per jam yang ditentukan dalam pernyataan DDL. Nilai kolom kunci partisi sale_time kemudian dihasilkan berdasarkan hasil tersebut.

  -- Setelah tabel dibuat, sistem secara otomatis mendapatkan waktu pemasukan data saat data ditulis. Sistem memotong _partitiontime per jam, menghasilkan kolom kunci partisi bernama sale_time, dan mempartisi tabel berdasarkan kolom ini.
  CREATE TABLE IF NOT EXISTS ingestion_sale_detail_hourly(
   shop_name     STRING,
   total_price   DOUBLE,
   _partitiontime TIMESTAMP)
  AUTO PARTITIONED BY (TRUNC_TIME(_partitiontime, 'hour') AS sale_time)
  TBLPROPERTIES('ingestion_time_partition'='true');

  Tabel ingestion_sale_detail_hourly yang dibuat pada contoh di atas berisi empat kolom. Kolom sale_time adalah kolom kunci partisi yang dihasilkan secara otomatis bertipe STRING. Anda dapat menjalankan pernyataan DESC ingestion_sale_detail_hourly; untuk melihat informasi tabel. Berikut adalah contoh hasilnya:

  +------------------------------------------------------------------------------------+
  | Owner:                    ALIYUN$test****                                          |
  | Project:                   xxxxxxx                                                 |
  | Schema:                    default                                                 |
  | TableComment:                                                                      |
  +------------------------------------------------------------------------------------+
  | CreateTime:               2025-06-16 14:59:40                                      |
  | LastDDLTime:              2025-06-16 14:59:40                                      |
  | LastModifiedTime:         2025-06-16 14:59:40                                      |
  +------------------------------------------------------------------------------------+
  | InternalTable: YES      | Size: 0                                                  |
  +------------------------------------------------------------------------------------+
  | Native Columns:                                                                    |
  +------------------------------------------------------------------------------------+
  | Field           | Type       | Label | Comment                                     |
  +------------------------------------------------------------------------------------+
  | shop_name       | string     |       |                                             |                                        |
  | total_price     | double     |       |                                             |
  | _partitiontime  | timestamp  |       |                                             |
  +------------------------------------------------------------------------------------+
  | Partition Columns:                                                                 |
  +------------------------------------------------------------------------------------+
  | sale_time       | string     |                                                     |
  +------------------------------------------------------------------------------------+

• Contoh 2

  Contoh ini membuat tabel partisi berdasarkan waktu pemasukan data bernama ingestion_sale_detail_daily yang dipartisi per hari. Jika granularitas partisi per hari, pseudo-kolom tambahan bernama _partitiondate bertipe DATE juga dihasilkan, bersama dengan pseudo-kolom _partitiontime.

  CREATE TABLE IF NOT EXISTS ingestion_sale_detail_daily(
   shop_name     STRING,
   total_price   DOUBLE,
   _partitiontime TIMESTAMP)
  AUTO PARTITIONED BY (TRUNC_TIME(_partitiontime, 'day') AS sale_date)
  TBLPROPERTIES('ingestion_time_partition'='true');

  Catatan

  • Anda dapat menjalankan perintah SELECT *, _partitiondate FROM ingestion_sale_detail_daily; untuk melihat pseudo-kolom _partitiondate.

  • Untuk melihat logika pembuatan partisi untuk kolom kunci partisi berdasarkan waktu pemasukan data, Anda dapat menggunakan pernyataan SHOW CREATE TABLE.

Contoh:

• Contoh 1

  Saat memasukkan data, jangan tentukan nilai untuk pseudo-kolom _partitiontime.

  INSERT INTO ingestion_sale_detail_hourly (shop_name,total_price) 
  VALUES 
    ('shanghai_shop',10001.1), 
    ('chongqin_shop',20002.2), 
    ('hangzhou_shop',30003.3), 
    ('shenzhen_shop',40004.4);

• Contoh 2

  Saat memasukkan data, Anda dapat menentukan nilai untuk pseudo-kolom _partitiontime. Granularitas waktu nilai _partitiontime harus sesuai dengan granularitas partisi yang ditentukan, yaitu `hour`.

  • Contoh valid: Tentukan '2025-06-15 14:00:00' sebagai nilai kolom _partitiontime.

    INSERT INTO ingestion_sale_detail_hourly (shop_name,total_price,_partitiontime)
    VALUES 
      ('beijing_shop',50005.5,TIMESTAMP '2025-06-15 14:00:00'),
      ('chengdu_shop',60006.6,TIMESTAMP '2025-06-14 05:00:00');

  • Contoh tidak valid: Tentukan '2025-06-15 14:30:00' sebagai nilai kolom _partitiontime. Nilai ini tidak sesuai dengan granularitas partisi per jam.

    INSERT INTO ingestion_sale_detail_hourly (shop_name,total_price,_partitiontime)
    VALUES ('beijing_shop',50005.5,TIMESTAMP '2025-06-15 14:30:00');

    Pesan error berikut dikembalikan:

    FAILED: ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: SQL Runtime Unretryable Error: ODPS-0121095:Invalid argument - illegal ingestion time: 2025-06-15 14:30:00

• Contoh 3

  Saat granularitas partisi per hari, Anda hanya dapat menentukan nilai untuk pseudo-kolom _partitiontime. Anda tidak dapat menentukan nilai untuk pseudo-kolom _partitiondate.

  • Contoh valid: Tentukan '2025-06-18 00:00:00' sebagai nilai kolom _partitiontime.

    INSERT INTO ingestion_sale_detail_daily (shop_name,total_price,_partitiontime) 
    VALUES ('beijing_shop',50005.5,TIMESTAMP '2025-06-18 00:00:00');

  • Contoh tidak valid:

    • Tentukan '2025-06-15 14:00:00' sebagai nilai kolom _partitiontime. Nilai ini tidak sesuai dengan granularitas partisi per hari.

      INSERT INTO ingestion_sale_detail_daily (shop_name,total_price,_partitiontime) 
      VALUES ('beijing_shop',50005.5,TIMESTAMP '2025-06-18 14:00:00');

      Pesan error berikut dikembalikan:

      FAILED: ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: SQL Runtime Unretryable Error: ODPS-0121095:Invalid argument - illegal ingestion time: 2025-06-18 14:00:00

    • Langsung tentukan nilai untuk pseudo-kolom _partitiondate.

      INSERT INTO ingestion_sale_detail_daily (shop_name,total_price,_partitiondate) 
      VALUES ('beijing_shop',50005.5,DATE '2025-06-15');

      Pesan error berikut dikembalikan:

      FAILED: ODPS-0130071:[1,64] Semantic analysis exception - column _partitiondate cannot be resolved; Did you mean _partitiontime ?

Contoh:

• Contoh 1

  Saat menjalankan kueri SELECT *, sistem tidak mengembalikan pseudo-kolom _partitiontime atau _partitiondate maupun kolom kunci partisi yang dihasilkan secara default.

  SELECT *  FROM ingestion_sale_detail_hourly;
  
  -- Hasil dikembalikan.
  +------------+-------------+
  | shop_name  |  total_price |
  +---------------+-------------+
  | shanghai_shop | 10001.1     |
  | chongqin_shop | 20002.2     |
  | hangzhou_shop | 30003.3     |
  | shenzhen_shop | 40004.4     |
  | chengdu_shop  | 60006.6     |
  | beijing_shop  | 50005.5     |
  +---------------+-------------+

• Contoh 2

  Anda dapat menentukan pseudo-kolom _partitiontime atau _partitiondate serta kolom kunci partisi yang dihasilkan dalam kueri Anda. Pada contoh ini, sale_time dan sale_date adalah nama kolom kunci partisi yang ditentukan saat tabel dibuat.

  Catatan

  Pada contoh ini, zona waktu lokal proyek diatur ke `Asia/Shanghai` (UTC+8) dengan menjalankan perintah set odps.sql.timezone=Asia/Shanghai;. Zona waktu memengaruhi nilai partisi yang dihasilkan oleh fungsi `TRUNC_TIME`.

  • Kueri tabel ingestion_sale_detail_hourly, yang dipartisi per jam.

    SELECT * ,_partitiontime,sale_time FROM ingestion_sale_detail_hourly;
    
    --Hasil berikut dikembalikan:
    +---------------+-------------+---------------------+---------------------+
    | shop_name     | total_price | _partitiontime      | sale_time           |
    +---------------+-------------+---------------------+---------------------+
    | shanghai_shop | 10001.1     | 2025-06-18 15:00:00 | 2025-06-18 07:00:00 |
    | chongqin_shop | 20002.2     | 2025-06-18 15:00:00 | 2025-06-18 07:00:00 |
    | hangzhou_shop | 30003.3     | 2025-06-18 15:00:00 | 2025-06-18 07:00:00 |
    | shenzhen_shop | 40004.4     | 2025-06-18 15:00:00 | 2025-06-18 07:00:00 |
    | beijing_shop  | 50005.5     | 2025-06-15 14:00:00 | 2025-06-15 06:00:00 |
    | chengdu_shop  | 60006.6     | 2025-06-14 05:00:00 | 2025-06-13 21:00:00 |
    +---------------+-------------+---------------------+---------------------+

  • Kueri tabel ingestion_sale_detail_daily, yang dipartisi per hari.

    SELECT * ,_partitiontime,_partitiondate,sale_date FROM ingestion_sale_detail_daily;
    
    --Hasil berikut dikembalikan:
    +--------------+-------------+---------------------+----------------+-----------+
    | shop_name    | total_price | _partitiontime      | _partitiondate | sale_date |
    +--------------+-------------+---------------------+----------------+-----------+
    | beijing_shop | 50005.5     | 2025-06-18 00:00:00 | 2025-06-18     | 2025-06-18|
    +--------------+-------------+---------------------+----------------+-----------+