MaxCompute：Tabel eksternal Parquet

Tipe data yang didukung

Untuk informasi selengkapnya mengenai tipe data MaxCompute, lihat Data Types 1.0 dan Data Types 2.0.

• Mode Java: set odps.ext.parquet.native=false. Saat membaca data dari tabel eksternal, implementasi berbasis Java open-source asli digunakan untuk mengurai file data Parquet. Mode ini mendukung operasi baca dan tulis.

• Mode Native: set odps.ext.parquet.native=true. Saat membaca data dari tabel eksternal, implementasi native berbasis C++ yang baru digunakan untuk mengurai file data Parquet. Mode ini hanya mendukung operasi baca.

  Mode	Mode Java (baca/tulis)	Mode Native (read-only)
  TINYINT
  SMALLINT
  INT
  BIGINT
  BINARY
  FLOAT
  DOUBLE
  DECIMAL(precision,scale)
  VARCHAR(n)
  CHAR(n)
  STRING
  DATE
  DATETIME
  TIMESTAMP
  TIMESTAMP_NTZ
  BOOLEAN
  ARRAY
  MAP
  STRUCT
  JSON

Format kompresi yang didukung

• Saat membaca atau menulis file OSS yang memiliki properti kompresi, Anda harus menambahkan konfigurasi properti with serdeproperties dalam pernyataan pembuatan tabel. Untuk informasi selengkapnya, lihat parameter properti `with serdeproperties`.

• MaxCompute mendukung pembacaan dan penulisan file Parquet yang dikompresi dengan ZSTD, SNAPPY, atau GZIP.

Sintaks

Jika skema file Parquet tidak konsisten dengan skema tabel eksternal:

• Jumlah kolom tidak konsisten: Jika file Parquet memiliki jumlah kolom lebih sedikit daripada definisi tabel eksternal, kolom yang hilang akan diisi dengan nilai NULL selama operasi baca. Jika file Parquet memiliki lebih banyak kolom, kolom tambahan tersebut akan diabaikan.

• Tipe kolom tidak konsisten: Jika tipe kolom dalam file Parquet tidak sesuai dengan tipe kolom yang sesuai dalam definisi tabel eksternal, error akan dilaporkan saat membaca data dari file tersebut. Misalnya, error akan dilaporkan jika Anda mencoba membaca data bertipe INT sebagai STRING, atau sebaliknya. Pesan error-nya adalah ODPS-0123131:User defined function exception - Traceback:xxx.

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name>
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
STORED AS parquet 
LOCATION '<oss_location>' 
[tblproperties ('<tbproperty_name>'='<tbproperty_value>',...)];

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name>
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
WITH serdeproperties(
    'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole',
    'mcfed.parquet.compression'='ZSTD/SNAPPY/GZIP'
)
STORED AS parquet 
LOCATION '<oss_location>' 
;

Parameter umum

Untuk informasi lebih lanjut mengenai parameter umum, lihat Parameter sintaks dasar.

Parameter unik

Penggunaan

• Aktifkan Parquet PPD

  Sebelum menjalankan kueri SQL, jalankan perintah set untuk mengatur dua parameter tingkat sesi berikut guna mengaktifkan Parquet PPD.

  -- Aktifkan reader native Parquet. 
  set odps.ext.parquet.native = true; 
  -- Aktifkan Parquet PPD.
  set odps.sql.parquet.use.predicate.pushdown = true; 

• Contoh

  Contoh ini menggunakan set data uji TPCDS 1 TB dan tabel eksternal Parquet tpcds_1t_store_sales. PPD diaktifkan dan kueri filter dieksekusi. Total volume data adalah 2.879.987.999 baris.

  -- Buat tabel eksternal tpcds_1t_store_sales.
  CREATE EXTERNAL TABLE IF NOT EXISTS tpcds_1t_store_sales (
      ss_sold_date_sk         BIGINT,
      ss_sold_time_sk         BIGINT,
      ss_item_sk              BIGINT,
      ss_customer_sk          BIGINT,
      ss_cdemo_sk             BIGINT,
      ss_hdemo_sk             BIGINT,
      ss_addr_sk              BIGINT,
      ss_store_sk             BIGINT,
      ss_promo_sk             BIGINT,
      ss_ticket_number        BIGINT,
      ss_quantity             BIGINT,
      ss_wholesale_cost       DECIMAL(7,2),
      ss_list_price           DECIMAL(7,2),
      ss_sales_price          DECIMAL(7,2),
      ss_ext_discount_amt     DECIMAL(7,2),
      ss_ext_sales_price      DECIMAL(7,2),
      ss_ext_wholesale_cost   DECIMAL(7,2),
      ss_ext_list_price       DECIMAL(7,2),
      ss_ext_tax              DECIMAL(7,2),
      ss_coupon_amt           DECIMAL(7,2),
      ss_net_paid             DECIMAL(7,2),
      ss_net_paid_inc_tax     DECIMAL(7,2),
      ss_net_profit           DECIMAL(7,2)
  )
  ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
  WITH serdeproperties(
    'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole',
    'mcfed.parquet.compression'='zstd'
  )
  STORED AS parquet
  LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss_bucket_path/';
  
  -- Gunakan set data uji TPCDS 1 TB.
  INSERT OVERWRITE TABLE tpcds_1t_store_sales
  SELECT 
      ss_sold_date_sk,
      ss_sold_time_sk,
      ss_item_sk,
      ss_customer_sk,
      ss_cdemo_sk,
      ss_hdemo_sk,
      ss_addr_sk,
      ss_store_sk,
      ss_promo_sk,
      ss_ticket_number,
      ss_quantity,
      ss_wholesale_cost,
      ss_list_price,
      ss_sales_price,
      ss_ext_discount_amt,
      ss_ext_sales_price,
      ss_ext_wholesale_cost,
      ss_ext_list_price,
      ss_ext_tax,
      ss_coupon_amt,
      ss_net_paid,
      ss_net_paid_inc_tax,
      ss_net_profit
  FROM 
      bigdata_public_dataset.tpcds_1t.store_sales;
  
  -- Jalankan kueri.
  SELECT SUM(ss_sold_date_sk) FROM tpcds_1t_store_sales
    WHERE ss_sold_date_sk >= 2451871 AND ss_sold_date_sk <= 2451880;

Perbandingan performa

Mengaktifkan PPD mengurangi jumlah data yang dipindai, sehingga mengurangi latensi kueri dan konsumsi resource.

Rincian pengujian

1. Tabel eksternal Parquet + PPD dinonaktifkan

   SET odps.ext.parquet.native = true;
   SET odps.sql.parquet.use.predicate.pushdown = false;
   
   SELECT SUM(ss_sold_date_sk) FROM tpcds_1t_store_sales
     WHERE ss_store_sk = 2 AND ss_sold_date_sk >= 2451871 AND ss_sold_date_sk <= 2451880;

   

   

   

2. Tabel eksternal Parquet + PPD diaktifkan

   SET odps.ext.parquet.native = true;
   SET odps.sql.parquet.use.predicate.pushdown = true;
   
   SELECT SUM(ss_sold_date_sk) FROM tpcds_1t_store_sales
     WHERE ss_store_sk = 2 AND ss_sold_date_sk >= 2451871 AND ss_sold_date_sk <= 2451880;

   

   

   Banyak Mapper kosong dan tidak membaca data:

   

   Log pemangkasan grup baris aktual:

   

3. Tabel internal + PPD diaktifkan

   Data dalam tabel internal diurutkan, sehingga efek pemangkasan lebih signifikan.

   SELECT SUM(ss_sold_date_sk) FROM bigdata_public_dataset.tpcds_1t.store_sales
     WHERE ss_store_sk = 2 AND ss_sold_date_sk >= 2451871 AND ss_sold_date_sk <= 2451880;

   

   

   

Tipe kolom dalam file Parquet tidak konsisten dengan tipe dalam pernyataan DDL untuk tabel eksternal

• Pesan kesalahan

  ODPS-0123131:User defined function exception - Traceback:
  java.lang.ClassCastException: org.apache.hadoop.io.LongWritable cannot be cast to org.apache.hadoop.io.IntWritable 
     at org.apache.hadoop.hive.serde2.objectinspector.primitive.WritableIntObjectInspector.getPrimitiveJavaObject(WritableIntObjectInspector.java:46)

• Deskripsi error

  Tipe bidang LongWritable dalam file Parquet tidak konsisten dengan tipe INT dalam pernyataan DDL untuk tabel eksternal.

• Solusi

  Ubah tipe INT dalam pernyataan DDL untuk tabel eksternal menjadi BIGINT.

Error java.lang.OutOfMemoryError dilaporkan saat Anda menulis data ke tabel eksternal

• Pesan error

  ODPS-0123131:User defined function exception - Traceback:
  java.lang.OutOfMemoryError: Java heap space
  	at java.io.ByteArrayOutputStream.<init>(ByteArrayOutputStream.java:77)
  	at org.apache.parquet.bytes.BytesInput$BAOS.<init>(BytesInput.java:175)
  	at org.apache.parquet.bytes.BytesInput$BAOS.<init>(BytesInput.java:173)
  	at org.apache.parquet.bytes.BytesInput.toByteArray(BytesInput.java:161)

• Deskripsi error

  Error kehabisan memori (OOM) dilaporkan saat sejumlah besar data ditulis ke tabel eksternal Parquet.

• Solusi

  Untuk mengatasi masalah ini, kurangi parameter mcfed.parquet.block.row.count.limit. Jika error OOM tetap terjadi atau file output terlalu besar, Anda juga dapat mengurangi parameter mcfed.parquet.page.size.row.check.max untuk memeriksa memori lebih sering. Untuk informasi lebih lanjut, lihat Parameter unik.

  Sebelum menulis data ke tabel eksternal Parquet, tambahkan parameter berikut.

  -- Atur memori heap maksimum yang dapat digunakan oleh JVM UDF.
  SET odps.sql.udf.jvm.memory=12288;
  -- Kontrol ukuran batch di sisi runtime.
  SET odps.sql.executionengine.batch.rowcount =64;
  -- Atur ukuran memori untuk setiap pekerja Map.
  SET odps.stage.mapper.mem=12288;
  -- Ubah volume data input untuk setiap pekerja Map, yaitu ukuran shard file input. Ini secara tidak langsung mengontrol jumlah pekerja di setiap tahap Map.
  SET odps.stage.mapper.split.size=64;