MaxCompute:Tabel Eksternal Parquet

Tipe Data yang Didukung

Untuk informasi selengkapnya mengenai tipe data MaxCompute, lihat Data Type Version 1.0 dan Data Type Version 2.0.

• Mode JNI: set odps.ext.parquet.native=false. Mode ini menggunakan implementasi open-source berbasis Java asli untuk mengurai file data Parquet dan mendukung operasi baca serta tulis.

• Mode Native: set odps.ext.parquet.native=true. Mode ini menggunakan implementasi native berbasis C++ untuk mengurai file data Parquet dan hanya mendukung operasi baca.

  Mode	Java Mode (Baca/Tulis)	Native Mode (Hanya Baca)
  TINYINT	Didukung	Didukung
  SMALLINT	Didukung	Didukung
  INT	Didukung	Didukung
  BIGINT	Didukung	Didukung
  BINARY	Didukung	Didukung
  FLOAT	Didukung	Didukung
  DOUBLE	Didukung	Didukung
  DECIMAL(precision,scale)	Tidak didukung	Didukung
  VARCHAR(n)	Didukung	Didukung
  CHAR(n)	Didukung	Didukung
  STRING	Didukung	Didukung
  DATE	Didukung	Didukung
  DATETIME	Didukung	Didukung
  TIMESTAMP	Didukung	Didukung
  TIMESTAMP_NTZ	Tidak didukung	Tidak didukung
  BOOLEAN	Didukung	Didukung
  ARRAY	Didukung	Didukung
  MAP	Didukung	Didukung
  STRUCT	Didukung	Didukung
  JSON	Tidak didukung	Tidak didukung

Format Kompresi yang Didukung

• Saat membaca atau menulis file OSS dengan properti kompresi, tambahkan konfigurasi properti with serdeproperties pada pernyataan pembuatan tabel. Untuk informasi selengkapnya, lihat parameter properti with serdeproperties.

• Format file Parquet yang didukung mencakup kompresi ZSTD, SNAPPY, dan GZIP.

Dukungan Evolusi Skema

Tabel eksternal Parquet memetakan nilai kolom berdasarkan nama, dengan mencocokkan skema tabel terhadap kolom dalam file.

Catatan Kompatibilitas Data dalam tabel berikut menjelaskan apakah tabel eksternal yang skemanya telah dimodifikasi dapat membaca data yang sesuai dengan skema baru tersebut, serta apakah tabel tersebut tetap dapat membaca data historis yang tidak sesuai dengan skema baru.

Sintaks

Saat skema file Parquet berbeda dari skema tabel eksternal:

• Ketidaksesuaian jumlah kolom: Jika file Parquet memiliki kolom lebih sedikit daripada DDL tabel eksternal, kolom yang hilang mengembalikan NULL. Jika file Parquet memiliki kolom lebih banyak, kolom tambahan diabaikan.

• Ketidaksesuaian tipe kolom: Jika tipe kolom file Parquet berbeda dari tipe kolom yang sesuai dalam DDL tabel eksternal, proses baca gagal. Misalnya, mencoba membaca data INT (atau STRING) menggunakan STRING (atau INT) menghasilkan error ODPS-0123131:User defined function exception - Traceback:xxx.

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name>
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
STORED AS parquet 
LOCATION '<oss_location>' 
[tblproperties ('<tbproperty_name>'='<tbproperty_value>',...)];

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name>
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
WITH serdeproperties(
    'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole',
    'mcfed.parquet.compression'='ZSTD/SNAPPY/GZIP'
)
STORED AS parquet 
LOCATION '<oss_location>' 
;

Parameter Umum

Untuk informasi selengkapnya tentang parameter umum, lihat Parameter sintaks dasar.

Parameter Unik

Cara Menggunakan

• Aktifkan Predicate Push Down (Parquet PPD)

  Sebelum menjalankan kueri SQL, gunakan perintah SET untuk mengatur dua parameter tingkat sesi berikut guna mengaktifkan Parquet PDD.

  -- Aktifkan reader native Parquet. 
  set odps.ext.parquet.native = true; 
  -- Aktifkan Parquet PPD.
  set odps.sql.parquet.use.predicate.pushdown = true; 

• Contoh

  Berdasarkan set data uji TPCDS 1 TB, contoh ini menggunakan tabel eksternal tpcds_1t_store_sales berformat Parquet untuk menjalankan kueri pemfilteran dengan PPD diaktifkan. Volume total data adalah 2879987999.

  -- Buat tabel eksternal tpcds_1t_store_sales.
  CREATE EXTERNAL TABLE IF NOT EXISTS tpcds_1t_store_sales (
      ss_sold_date_sk         BIGINT,
      ss_sold_time_sk         BIGINT,
      ss_item_sk              BIGINT,
      ss_customer_sk          BIGINT,
      ss_cdemo_sk             BIGINT,
      ss_hdemo_sk             BIGINT,
      ss_addr_sk              BIGINT,
      ss_store_sk             BIGINT,
      ss_promo_sk             BIGINT,
      ss_ticket_number        BIGINT,
      ss_quantity             BIGINT,
      ss_wholesale_cost       DECIMAL(7,2),
      ss_list_price           DECIMAL(7,2),
      ss_sales_price          DECIMAL(7,2),
      ss_ext_discount_amt     DECIMAL(7,2),
      ss_ext_sales_price      DECIMAL(7,2),
      ss_ext_wholesale_cost   DECIMAL(7,2),
      ss_ext_list_price       DECIMAL(7,2),
      ss_ext_tax              DECIMAL(7,2),
      ss_coupon_amt           DECIMAL(7,2),
      ss_net_paid             DECIMAL(7,2),
      ss_net_paid_inc_tax     DECIMAL(7,2),
      ss_net_profit           DECIMAL(7,2)
  )
  ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
  WITH serdeproperties(
    'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole',
    'mcfed.parquet.compression'='zstd'
  )
  STORED AS parquet
  LOCATION 'oss://oss-cn-hangzhou-internal.aliyuncs.com/oss_bucket_path/';
  
  -- Muat 1 TB data uji TPCDS.
  INSERT OVERWRITE TABLE tpcds_1t_store_sales
  SELECT 
      ss_sold_date_sk,
      ss_sold_time_sk,
      ss_item_sk,
      ss_customer_sk,
      ss_cdemo_sk,
      ss_hdemo_sk,
      ss_addr_sk,
      ss_store_sk,
      ss_promo_sk,
      ss_ticket_number,
      ss_quantity,
      ss_wholesale_cost,
      ss_list_price,
      ss_sales_price,
      ss_ext_discount_amt,
      ss_ext_sales_price,
      ss_ext_wholesale_cost,
      ss_ext_list_price,
      ss_ext_tax,
      ss_coupon_amt,
      ss_net_paid,
      ss_net_paid_inc_tax,
      ss_net_profit
  FROM 
      bigdata_public_dataset.tpcds_1t.store_sales;
  
  -- Jalankan kueri.
  SELECT SUM(ss_sold_date_sk) FROM tpcds_1t_store_sales
    WHERE ss_sold_date_sk >= 2451871 AND ss_sold_date_sk <= 2451880;

Perbandingan Performa

Mengaktifkan PPD mengurangi data yang dipindai, sehingga menurunkan latensi kueri dan penggunaan resource.

Detail Pengujian

1. Tabel Eksternal Parquet (PPD Dinonaktifkan)

   SET odps.ext.parquet.native = true;
   SET odps.sql.parquet.use.predicate.pushdown = false;
   
   SELECT SUM(ss_sold_date_sk) FROM tpcds_1t_store_sales
     WHERE ss_store_sk = 2 AND ss_sold_date_sk >= 2451871 AND ss_sold_date_sk <= 2451880;

   

   

   

2. Tabel Eksternal Parquet (PPD Diaktifkan)

   SET odps.ext.parquet.native = true;
   SET odps.sql.parquet.use.predicate.pushdown = true;
   
   SELECT SUM(ss_sold_date_sk) FROM tpcds_1t_store_sales
     WHERE ss_store_sk = 2 AND ss_sold_date_sk >= 2451871 AND ss_sold_date_sk <= 2451880;

   

   

   Banyak mapper kosong dan melewati pembacaan data:

   

   Log aktual pemangkasan RowGroup:

   

3. Tabel Internal (PPD Diaktifkan)

   Data tabel internal diurutkan, sehingga pemangkasan lebih efektif.

   SELECT SUM(ss_sold_date_sk) FROM bigdata_public_dataset.tpcds_1t.store_sales
     WHERE ss_store_sk = 2 AND ss_sold_date_sk >= 2451871 AND ss_sold_date_sk <= 2451880;

   

   

   

Tipe Kolom File Parquet Tidak Sesuai dengan Tipe DDL Tabel Eksternal

• Pesan Error

  ODPS-0123131:User defined function exception - Traceback:
  java.lang.ClassCastException: org.apache.hadoop.io.LongWritable cannot be cast to org.apache.hadoop.io.IntWritable 
     at org.apache.hadoop.hive.serde2.objectinspector.primitive.WritableIntObjectInspector.getPrimitiveJavaObject(WritableIntObjectInspector.java:46)

• Deskripsi Error

  File Parquet menggunakan LongWritable, tetapi DDL tabel eksternal mendefinisikan kolom sebagai INT.

• Solusi

  Ubah tipe kolom dalam DDL tabel eksternal dari INT menjadi BIGINT.

Error Kehabisan Memori Saat Menulis ke Tabel Eksternaljava.lang.OutOfMemoryError

• Pesan Error

  ODPS-0123131:User defined function exception - Traceback:
  java.lang.OutOfMemoryError: Java heap space
  	at java.io.ByteArrayOutputStream.<init>(ByteArrayOutputStream.java:77)
  	at org.apache.parquet.bytes.BytesInput$BAOS.<init>(BytesInput.java:175)
  	at org.apache.parquet.bytes.BytesInput$BAOS.<init>(BytesInput.java:173)
  	at org.apache.parquet.bytes.BytesInput.toByteArray(BytesInput.java:161)

• Deskripsi Error

  Terjadi OutOfMemoryError saat menulis data dalam jumlah besar ke tabel eksternal Parquet.

• Solusi

  Saat membuat tabel eksternal, pertama-tama kurangi mcfed.parquet.block.row.count.limit. Jika OOM masih terjadi atau file output terlalu besar, kurangi mcfed.parquet.page.size.row.check.max agar pemeriksaan memori lebih sering dilakukan. Untuk detailnya, lihat Parameter Unik.

  Tambahkan pengaturan berikut sebelum menulis ke tabel eksternal Parquet:

  -- Atur memori heap JVM maksimum untuk UDF.
  SET odps.sql.udf.jvm.memory=12288;
  -- Kontrol ukuran batch di sisi waktu proses.
  SET odps.sql.executionengine.batch.rowcount =64;
  -- Atur ukuran memori per Map Worker.
  SET odps.stage.mapper.mem=12288;
  -- Sesuaikan ukuran data input per Map Worker (ukuran pemisahan file) untuk mengontrol jumlah Worker per tahap Map.
  SET odps.stage.mapper.split.size=64;