MaxCompute:インジェスト時間パーティションテーブル

構文

次の構文を使用して、インジェスト時間パーティションテーブルを作成します。

CREATE [OR REPLACE] TABLE [IF NOT EXISTS] <table_name> (_partitiontime <data_type>, <col_name><data_type>... )
[COMMENT <table_comment>]
AUTO PARTITIONED BY (<auto_partition_expression> [AS <auto_partition_column_name>]);
TBLPROPERTIES('ingestion_time_partition'='true');

パラメータ：

例

• 例 1

  この例では、時間単位でパーティション分割される ingestion_sale_detail_hourly という名前のインジェスト時間パーティションテーブルを作成します。テーブル定義では、TIMESTAMP 型の _partitiontime という名前の疑似列を指定します。データがテーブルに書き込まれると、システムは自動的にデータのインジェスト時間を取得します。次に、DDL 文で指定された時間単位の粒度に基づいて、_partitiontime 疑似列に値を設定します。その後、この結果に基づいてパーティションキー列 sale_time の値が生成されます。

  -- テーブル作成後、データ書き込み時にシステムが自動的にデータインジェスト時間を取得します。_partitiontime を時間単位で切り捨て、sale_time という名前のパーティションキー列を生成し、この列に基づいてテーブルをパーティション分割します。
  CREATE TABLE IF NOT EXISTS ingestion_sale_detail_hourly(
   shop_name     STRING,
   total_price   DOUBLE,
   _partitiontime TIMESTAMP)
  AUTO PARTITIONED BY (TRUNC_TIME(_partitiontime, 'hour') AS sale_time)
  TBLPROPERTIES('ingestion_time_partition'='true');

  前の例で作成された ingestion_sale_detail_hourly テーブルには 4 つの列が含まれています。sale_time 列は、STRING 型の自動的に生成されたパーティションキー列です。DESC ingestion_sale_detail_hourly; 文を実行して、テーブル情報を表示できます。以下に結果の例を示します。

  +------------------------------------------------------------------------------------+
  | Owner:                    ALIYUN$test****                                          |
  | Project:                   xxxxxxx                                                 |
  | Schema:                    default                                                 |
  | TableComment:                                                                      |
  +------------------------------------------------------------------------------------+
  | CreateTime:               2025-06-16 14:59:40                                      |
  | LastDDLTime:              2025-06-16 14:59:40                                      |
  | LastModifiedTime:         2025-06-16 14:59:40                                      |
  +------------------------------------------------------------------------------------+
  | InternalTable: YES      | Size: 0                                                  |
  +------------------------------------------------------------------------------------+
  | Native Columns:                                                                    |
  +------------------------------------------------------------------------------------+
  | Field           | Type       | Label | Comment                                     |
  +------------------------------------------------------------------------------------+
  | shop_name       | string     |       |                                             |                                        |
  | total_price     | double     |       |                                             |
  | _partitiontime  | timestamp  |       |                                             |
  +------------------------------------------------------------------------------------+
  | Partition Columns:                                                                 |
  +------------------------------------------------------------------------------------+
  | sale_time       | string     |                                                     |
  +------------------------------------------------------------------------------------+

• 例 2

  この例では、日単位でパーティション分割された ingestion_sale_detail_daily という名前の取り込み時間パーティションテーブルを作成します。パーティションの粒度が日単位の場合、_partitiontime 疑似列に加えて、DATE 型の _partitiondate という疑似列も生成されます。

  CREATE TABLE IF NOT EXISTS ingestion_sale_detail_daily(
   shop_name     STRING,
   total_price   DOUBLE,
   _partitiontime TIMESTAMP)
  AUTO PARTITIONED BY (TRUNC_TIME(_partitiontime, 'day') AS sale_date)
  TBLPROPERTIES('ingestion_time_partition'='true');

  説明

  • SELECT *, _partitiondate FROM ingestion_sale_detail_daily; コマンドを実行して、_partitiondate 疑似列を表示できます。

  • インジェスト時間パーティションキー列のパーティション生成ロジックを表示するには、SHOW CREATE TABLE 文を使用できます。

例:

• 例 1

  データを挿入する際は、_partitiontime 疑似列の値を指定しないでください。

  INSERT INTO ingestion_sale_detail_hourly (shop_name,total_price) 
  VALUES 
    ('shanghai_shop',10001.1), 
    ('chongqin_shop',20002.2), 
    ('hangzhou_shop',30003.3), 
    ('shenzhen_shop',40004.4);

• 例 2

  データを挿入する際、_partitiontime 疑似列に値を指定できます。_partitiontime の値の時間粒度は、指定されたパーティションの粒度 (`hour`) と一致する必要があります。

  • 有効な例: _partitiontime 列の値に '2025-06-15 14:00:00' を指定します。

    INSERT INTO ingestion_sale_detail_hourly (shop_name,total_price,_partitiontime)
    VALUES 
      ('beijing_shop',50005.5,TIMESTAMP '2025-06-15 14:00:00'),
      ('chengdu_shop',60006.6,TIMESTAMP '2025-06-14 05:00:00');

  • 不正な例: _partitiontime 列の値として '2025-06-15 14:30:00' を指定します。 この値は、時間単位のパーティション粒度と一致しません。

    INSERT INTO ingestion_sale_detail_hourly (shop_name,total_price,_partitiontime)
    VALUES ('beijing_shop',50005.5,TIMESTAMP '2025-06-15 14:30:00');

    次のエラーメッセージが返されます：

    FAILED: ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: SQL Runtime Unretryable Error: ODPS-0121095:Invalid argument - illegal ingestion time: 2025-06-15 14:30:00

• 例 3

  パーティション粒度が日単位の場合、_partitiontime 疑似列にのみ値を指定できます。_partitiondate 疑似列には値を指定できません。

  • 有効な例: _partitiontime 列の値に '2025-06-18 00:00:00' を指定します。

    INSERT INTO ingestion_sale_detail_daily (shop_name,total_price,_partitiontime) 
    VALUES ('beijing_shop',50005.5,TIMESTAMP '2025-06-18 00:00:00');

  • 無効な例：

    • _partitiontime 列の値として '2025-06-15 14:00:00' を指定します。この値は、日単位のパーティション粒度と一致しません。

      INSERT INTO ingestion_sale_detail_daily (shop_name,total_price,_partitiontime) 
      VALUES ('beijing_shop',50005.5,TIMESTAMP '2025-06-18 14:00:00');

      次のエラーメッセージが返されます：

      FAILED: ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: SQL Runtime Unretryable Error: ODPS-0121095:Invalid argument - illegal ingestion time: 2025-06-18 14:00:00

    • 直接 _partitiondate 疑似列に値を指定します。

      INSERT INTO ingestion_sale_detail_daily (shop_name,total_price,_partitiondate) 
      VALUES ('beijing_shop',50005.5,DATE '2025-06-15');

      次のエラーメッセージが返されます：

      FAILED: ODPS-0130071:[1,64] Semantic analysis exception - column _partitiondate cannot be resolved; Did you mean _partitiontime ?

例:

• 例 1

  SELECT * クエリを実行すると、デフォルトでは _partitiontime や _partitiondate 疑似列、または生成されたパーティションキー列は返されません。

  SELECT *  FROM ingestion_sale_detail_hourly;
  
  -- 結果が返されます。
  +------------+-------------+
  | shop_name  |  total_price |
  +---------------+-------------+
  | shanghai_shop | 10001.1     |
  | chongqin_shop | 20002.2     |
  | hangzhou_shop | 30003.3     |
  | shenzhen_shop | 40004.4     |
  | chengdu_shop  | 60006.6     |
  | beijing_shop  | 50005.5     |
  +---------------+-------------+

• 例 2

  クエリで _partitiontime または _partitiondate 擬似列および生成されたパーティションキー列を指定できます。この例では、sale_time と sale_date は、テーブルの作成時に指定されたパーティションキー列の名前です。

  説明

  この例では、set odps.sql.timezone=Asia/Shanghai; コマンドを実行して、プロジェクトのローカルタイムゾーンを `Asia/Shanghai` (UTC + 08:00) に設定します。このタイムゾーンは、`TRUNC_TIME` 関数によって生成されるパーティション値に影響します。

  • 時間単位でパーティション化されている ingestion_sale_detail_hourly テーブルをクエリします。

    SELECT * ,_partitiontime,sale_time FROM ingestion_sale_detail_hourly;
    
    --次の結果が返されます：
    +---------------+-------------+---------------------+---------------------+
    | shop_name     | total_price | _partitiontime      | sale_time           |
    +---------------+-------------+---------------------+---------------------+
    | shanghai_shop | 10001.1     | 2025-06-18 15:00:00 | 2025-06-18 07:00:00 |
    | chongqin_shop | 20002.2     | 2025-06-18 15:00:00 | 2025-06-18 07:00:00 |
    | hangzhou_shop | 30003.3     | 2025-06-18 15:00:00 | 2025-06-18 07:00:00 |
    | shenzhen_shop | 40004.4     | 2025-06-18 15:00:00 | 2025-06-18 07:00:00 |
    | beijing_shop  | 50005.5     | 2025-06-15 14:00:00 | 2025-06-15 06:00:00 |
    | chengdu_shop  | 60006.6     | 2025-06-14 05:00:00 | 2025-06-13 21:00:00 |
    +---------------+-------------+---------------------+---------------------+

  • 日単位でパーティション化された ingestion_sale_detail_daily テーブルをクエリします。

    SELECT * ,_partitiontime,_partitiondate,sale_date FROM ingestion_sale_detail_daily;
    
    --次の結果が返されます：
    +--------------+-------------+---------------------+----------------+-----------+
    | shop_name    | total_price | _partitiontime      | _partitiondate | sale_date |
    +--------------+-------------+---------------------+----------------+-----------+
    | beijing_shop | 50005.5     | 2025-06-18 00:00:00 | 2025-06-18     | 2025-06-18|
    +--------------+-------------+---------------------+----------------+-----------+