MaxCompute:Inserir ou sobrescrever dados em partições dinâmicas

Pré-requisitos

Para executar operações INSERT INTO e INSERT OVERWRITE, você precisa ter permissão Update na tabela de destino e permissão Select na tabela de origem. Para mais informações sobre como conceder permissões, consulte MaxCompute Permissions.

Funcionamento

Ao processar dados com SQL do MaxCompute, não especifique diretamente os valores de partição em uma instrução INSERT INTO ou INSERT OVERWRITE. Especifique apenas as colunas de partição. Forneça os valores dessas colunas na cláusula SELECT para que o sistema insira automaticamente os dados nas partições correspondentes.

Para obter informações sobre como inserir dados em partições estáticas, consulte Insert or overwrite data (INSERT INTO | INSERT OVERWRITE).

Limites

Observações de uso

Sintaxe

INSERT {INTO|OVERWRITE} TABLE <table_name> PARTITION (<ptcol_name>[, <ptcol_name> ...]) 
<select_statement> FROM <from_statement>;

Parâmetros

Dados de amostra

-- Create a partitioned table named sale_detail.
CREATE TABLE IF NOT EXISTS sale_detail
(
shop_name     STRING,
customer_id   STRING,
total_price   DOUBLE
)
PARTITIONED BY (sale_date STRING, region STRING);

-- Add a partition to the source table. This step is optional. If you do not create the partition in advance, it is automatically created during the data write operation.
ALTER TABLE sale_detail ADD PARTITION (sale_date='2013', region='china');

-- Append data to the source table. You can omit the TABLE keyword after INSERT INTO and INSERT OVERWRITE.
INSERT INTO sale_detail PARTITION (sale_date='2013', region='china') VALUES ('s1','c1',100.1),('s2','c2',100.2),('s3','c3',100.3);

-- Enable a full scan. This setting is effective only for the current session. Run a SELECT statement to view the data in the sale_detail table.
SET odps.sql.allow.fullscan=true; 
SELECT * FROM sale_detail;

-- Output:
+------------+-------------+-------------+------------+------------+
| shop_name  | customer_id | total_price | sale_date  | region     |
+------------+-------------+-------------+------------+------------+
| s1         | c1          | 100.1       | 2013       | china      |
| s2         | c2          | 100.2       | 2013       | china      |
| s3         | c3          | 100.3       | 2013       | china      |
+------------+-------------+-------------+------------+------------+

Exemplos

Os exemplos a seguir utilizam os dados da tabela sale_detail criada na seção Sample data.

• Este exemplo insere dados em uma tabela de destino. As partições dinâmicas resultantes dependem dos valores da coluna region.

  -- Create a destination table named total_revenues.
  CREATE TABLE total_revenues (revenue DOUBLE) PARTITIONED BY (region string);
  
  -- Insert data from the sale_detail source table into the total_revenues destination table.
  SET odps.sql.allow.fullscan=true; 
  INSERT OVERWRITE TABLE total_revenues PARTITION(region) SELECT total_price AS revenue, region FROM sale_detail;
  
  -- Run the SHOW PARTITIONS statement to view the partitions of the total_revenues table.
  SHOW PARTITIONS total_revenues;
     
  -- Output:
  region=china  
  
  -- Enable a full scan. This setting is effective only for the current session. Run a SELECT statement to view the data in the total_revenues table. 
  SET odps.sql.allow.fullscan=true; 
  SELECT * FROM total_revenues;    
  
  -- Output:
  +------------+------------+
  | revenue    | region     |
  +------------+------------+
  | 100.1      | china      |
  | 100.2      | china      |
  | 100.3      | china      |
  +------------+------------+        

• Este exemplo insere dados em uma tabela com partições multinível e especifica o valor para a partição de primeiro nível, sale_date.

  -- Create a destination table named sale_detail_dypart. 
  CREATE TABLE sale_detail_dypart LIKE sale_detail; 
  
  -- Specify the first-level partition and insert data into the destination table.
  SET odps.sql.allow.fullscan=true; 
  INSERT OVERWRITE TABLE sale_detail_dypart PARTITION (sale_date='2013', region)
  SELECT shop_name,customer_id,total_price,region FROM sale_detail;
  
  -- Enable a full scan. This setting is effective only for the current session. Run a SELECT statement to view the data in the sale_detail_dypart table.
  SET odps.sql.allow.fullscan=true; 
  SELECT * FROM sale_detail_dypart;
  
  -- Output:
  +------------+-------------+-------------+------------+------------+
  | shop_name  | customer_id | total_price | sale_date  | region     |
  +------------+-------------+-------------+------------+------------+
  | s1         | c1          | 100.1       | 2013       | china      |
  | s2         | c2          | 100.2       | 2013       | china      |
  | s3         | c3          | 100.3       | 2013       | china      |
  +------------+-------------+-------------+------------+------------+

• Exemplo 3: Em particionamento dinâmico, o mapeamento entre os campos do select_statement e as partições dinâmicas da tabela de destino obedece à ordem dos campos, e não aos nomes das colunas. Veja o comando de exemplo:

  -- Insert data from the source table sale_detail into the destination table sale_detail_dypart.
  SET odps.sql.allow.fullscan=true; 
  INSERT OVERWRITE TABLE sale_detail_dypart PARTITION (sale_date, region)
  SELECT shop_name,customer_id,total_price,sale_date,region FROM sale_detail;
  
  -- Enable a full scan. This setting is effective only for the current session. Run a SELECT statement to view the data in the sale_detail_dypart table.
  SET odps.sql.allow.fullscan=true; 
  SELECT * FROM sale_detail_dypart;
  
  -- Output:
  -- The sale_date field from the source table maps to the sale_date dynamic partition column of the destination table.
  -- The region field from the source table maps to the region dynamic partition column of the destination table.
  +------------+-------------+-------------+------------+------------+
  | shop_name  | customer_id | total_price | sale_date  | region     |
  +------------+-------------+-------------+------------+------------+
  | s1         | c1          | 100.1       | 2013       | china      |
  | s2         | c2          | 100.2       | 2013       | china      |
  | s3         | c3          | 100.3       | 2013       | china      |
  +------------+-------------+-------------+------------+------------+
  
  -- Insert data from the sale_detail table into the sale_detail_dypart table and change the SELECT field order.
  SET odps.sql.allow.fullscan=true; 
  INSERT OVERWRITE TABLE sale_detail_dypart PARTITION (sale_date, region)
  SELECT shop_name,customer_id,total_price,region,sale_date FROM sale_detail;
  
  -- Enable a full scan. This setting is effective only for the current session. Run a SELECT statement to view the data in the sale_detail_dypart table.
  SET odps.sql.allow.fullscan=true; 
  SELECT * FROM sale_detail_dypart;
  
  -- Output:
  -- The region field from the source table maps to the sale_date dynamic partition column of the destination table.
  -- The sale_date field from the source table maps to the region dynamic partition column of the destination table.
  +------------+-------------+-------------+------------+------------+
  | shop_name  | customer_id | total_price | sale_date  | region     |
  +------------+-------------+-------------+------------+------------+
  | s1         | c1          | 100.1       | china      | 2013       |
  | s2         | c2          | 100.2       | china      | 2013       |
  | s3         | c3          | 100.3       | china      | 2013       |
  +------------+-------------+-------------+------------+------------+

• Exemplo 4 (Incorreto): Este exemplo falha porque a coluna de partição dinâmica não foi incluída na lista SELECT.

  INSERT OVERWRITE TABLE sale_detail_dypart PARTITION (sale_date='2013', region) 
  SELECT shop_name,customer_id,total_price FROM sale_detail;

  Saída:

  FAILED: ODPS-0130071:[1,24] Semantic analysis exception - wrong columns count 3 in data source, requires 4 columns (includes dynamic partitions if any)

• Exemplo 5 (Incorreto): Este exemplo falha porque uma partição de nível superior não pode ser dinâmica se uma partição de nível inferior for estática.

  INSERT OVERWRITE TABLE sale_detail_dypart PARTITION (sale_date, region='china')
  SELECT shop_name,customer_id,total_price,sale_date FROM sale_detail_dypart;

  Saída:

  FAILED: ODPS-0130071:[1,72] Semantic analysis exception - static partition region must be a high level partition than any dynamic partitions

• Exemplo 6: Ao inserir dados em partição dinâmica, o MaxCompute realiza uma implicit conversion se o tipo de dado da coluna de partição não corresponder estritamente ao da coluna equivalente na instrução SELECT. Confira o comando abaixo:

  -- Create a source table named src.
  CREATE TABLE src (c INT, d STRING) PARTITIONED BY (e INT);
  
  -- Add a partition to the src source table.
  ALTER TABLE src ADD IF NOT EXISTS PARTITION (e=201312);
  
  -- Append data to the src source table.
  INSERT INTO src PARTITION (e=201312) VALUES (1,100.1),(2,100.2),(3,100.3);
  
  -- Create a destination table named parttable.
  CREATE TABLE parttable(a INT, b DOUBLE) PARTITIONED BY (p STRING);
  
  -- Insert data from the src source table into the parttable destination table.
  SET odps.sql.allow.fullscan=true; 
  INSERT INTO parttable PARTITION (p) SELECT c, d, CURRENT_TIMESTAMP() FROM src;
  
  -- Query the parttable destination table.
  SET odps.sql.allow.fullscan=true;
  SELECT * FROM parttable;
  
  -- Output:
  +------------+------------+------------+
  | a          | b          | p          |
  +------------+------------+------------+
  | 1          | 100.1      | 2024-12-10 15:59:34.492 |
  | 2          | 100.2      | 2024-12-10 15:59:34.492 |
  | 3          | 100.3      | 2024-12-10 15:59:34.492 |
  +------------+------------+------------+

  Nota

  Inserções em partições dinâmicas podem dispersar dados ordenados, o que reduz a taxa de compressão. Para obter melhor compressão, utilize um Tunnel command para carregar dados nas partições dinâmicas. Consulte Migrate data from ApsaraDB RDS to MaxCompute based on dynamic partitioning para ver um exemplo detalhado de uso deste comando.