Hologres：Praktik Terbaik untuk Penulisan Data Batch ke Hologres

Siapkan lingkungan dasar

Anda perlu menyiapkan lingkungan berikut:

• Beli instance Hologres versi V2.2.25 atau lebih baru, dan buat database.

• Buat klaster EMR Spark. Versi Spark harus lebih besar dari atau sama dengan 3.3.0. Untuk informasi lebih lanjut, lihat Buat Klaster.

• Unduh paket Spark-Connector.

  Anda dapat mengunduh paket JAR konektor hologres-connector-spark-3.x, yang diperlukan untuk Spark membaca data dari dan menulis data ke Hologres, dari Maven Central Repository.

Informasi lingkungan berikut digunakan dalam topik ini.

Siapkan data uji

1. Siapkan data mentah.

   1. Masuk ke node master klaster EMR Spark. Untuk informasi lebih lanjut, lihat Masuk ke Node Master Klaster dengan Menghubungkan ke Instance ECS Tertentu.

   2. Klik TPC-H_Tools_v3.0.0.zip untuk mengunduh alat TPC-H, salin ke instance ECS node master, ekstrak, lalu masuk ke direktori TPC-H_Tools_v3.0.0/TPC-H_Tools_v3.0.0/dbgen.

   3. Jalankan kode berikut untuk menghasilkan file dataset uji 1 TB customer.tbl di direktori dbgen. Ukuran file tbl asli adalah 23 GB.

      ./dbgen -s 1000 -T c

      Tabel berikut memberikan informasi rinci tentang tabel pelanggan dalam dataset TPC-H 1 TB.

      Informasi tabel	Deskripsi
      Jumlah bidang	8
      Tipe bidang	INT, BIGINT, TEXT, DECIMAL
      Jumlah baris data	150.000.000
      Jumlah shard tabel	40

2. Impor data uji ke Spark.

   Jalankan perintah berikut untuk mengunggah file customer.tbl ke klaster Spark:

   hadoop fs -put customer.tbl <spark_resource>

   spark_resource menunjukkan jalur yang dikonfigurasikan untuk parameter Root Storage Directory of Cluster saat Anda membuat klaster EMR Spark.

3. Buat tabel dengan format penyimpanan yang berbeda di Hologres. Contoh pernyataan SQL:

   Penyimpanan hibrid baris-kolom

   CREATE TABLE test_table_mixed (
       C_CUSTKEY BIGINT PRIMARY KEY,
       C_NAME TEXT,
       C_ADDRESS TEXT,
       C_NATIONKEY INT,
       C_PHONE TEXT,
       C_ACCTBAL DECIMAL(15, 2),
       C_MKTSEGMENT TEXT,
       C_COMMENT TEXT
   )
   WITH (
       orientation = 'column,row'
   );

   Penyimpanan berorientasi kolom (dengan kunci utama)

   CREATE TABLE test_table_column (
       C_CUSTKEY BIGINT PRIMARY KEY,
       C_NAME TEXT,
       C_ADDRESS TEXT,
       C_NATIONKEY INT,
       C_PHONE TEXT,
       C_ACCTBAL DECIMAL(15, 2),
       C_MKTSEGMENT TEXT,
       C_COMMENT TEXT
   )
   WITH (
       orientation = 'column'
   );

   Penyimpanan berorientasi kolom (tanpa kunci utama)

   CREATE TABLE test_table_column_no_pk (
       C_CUSTKEY BIGINT,
       C_NAME TEXT,
       C_ADDRESS TEXT,
       C_NATIONKEY INT,
       C_PHONE TEXT,
       C_ACCTBAL DECIMAL(15, 2),
       C_MKTSEGMENT TEXT,
       C_COMMENT TEXT
   )
   WITH (
       orientation = 'column'
   );

   Penyimpanan berorientasi baris (dengan kunci utama)

   CREATE TABLE test_table_row (
       C_CUSTKEY BIGINT PRIMARY KEY,
       C_NAME TEXT,
       C_ADDRESS TEXT,
       C_NATIONKEY INT,
       C_PHONE TEXT,
       C_ACCTBAL DECIMAL(15, 2),
       C_MKTSEGMENT TEXT,
       C_COMMENT TEXT
   )
   WITH (
       orientation = 'row'
   );

   Penyimpanan berorientasi baris (tanpa kunci utama)

   CREATE TABLE test_table_row_no_pk (
       C_CUSTKEY BIGINT,
       C_NAME TEXT,
       C_ADDRESS TEXT,
       C_NATIONKEY INT,
       C_PHONE TEXT,
       C_ACCTBAL DECIMAL(15, 2),
       C_MKTSEGMENT TEXT,
       C_COMMENT TEXT
   )
   WITH (
       orientation = 'row'
   );

Konfigurasi pengujian

Topik ini terutama menguji kinerja impor di bawah mode yang berbeda.

1. Masuk ke node master klaster EMR Spark (untuk metode masuk, lihat Masuk ke Node Master Klaster dengan Menghubungkan ke Instance ECS Tertentu), unggah paket Spark-Connector yang diunduh, lalu jalankan perintah berikut untuk masuk ke antarmuka baris perintah (CLI) spark-sql.

   Catatan

   Dengan menyesuaikan nilai parameter spark.sql.files.maxPartitionBytes, Anda dapat mengontrol konkurensi Spark membaca file HDFS. Konkurensi dalam contoh ini adalah 40.

   # Masuk ke CLI spark-sql.
   
   spark-sql --jars <path>/hologres-connector-spark-3.x-1.5.2-jar-with-dependencies.jar \
   --conf spark.executor.instances=40 \
   --conf spark.executor.cores=1 \
   --conf spark.executor.memory=4g \
   --conf spark.sql.files.maxPartitionBytes=644245094

   path menunjukkan jalur root tempat paket hologres-connector-spark-3.x-1.5.2-jar-with-dependencies.jar berada.

2. Jalankan pernyataan SQL berikut di CLI spark-sql untuk menulis data dengan membuat tabel sementara.

   Karena parameter perlu disesuaikan berkali-kali selama proses pengujian untuk menguji kinerja penulisan mode yang berbeda, tabel sementara digunakan dalam contoh ini.

   Catatan

   Dalam skenario bisnis nyata, Anda dapat langsung menggunakan katalog untuk memuat tabel Hologres, yang lebih nyaman.

   -- Buat tabel sementara dalam format CSV
   CREATE TEMPORARY VIEW csvtable (
     c_custkey BIGINT,
     c_name STRING,
     c_address STRING,
     c_nationkey INT,
     c_phone STRING,
     c_acctbal DECIMAL(15, 2),
     c_mktsegment STRING,
     c_comment STRING)
   USING csv OPTIONS (
     path "<spark_resources>/customer.tbl", sep "|"
   );
   
   CREATE TEMPORARY VIEW hologresTable (
     c_custkey BIGINT,
     c_name STRING,
     c_address STRING,
     c_nationkey INT,
     c_phone STRING,
     c_acctbal DECIMAL(15, 2),
     c_mktsegment STRING,
     c_comment STRING)
   USING hologres OPTIONS (
     jdbcurl "jdbc:postgresql://<hologres_vpc_endpoint>/<database_name>",
     username "<accesskey_id>", 
     password "<accesskey_secret>", 
     table "<table_name>",
     direct_connect "false",
     write.mode "auto",
     write.insert.thread_size "3",
     write.insert.batch_size "2048"
   );
   
   INSERT INTO hologresTable SELECT * FROM csvTable;

   Tabel berikut menjelaskan parameter.

   Parameter	Deskripsi
   spark_resources	Jalur yang dikonfigurasikan untuk parameter Root Storage Directory of Cluster saat Anda membuat klaster EMR Spark. Anda dapat masuk ke Konsol EMR on ECS, klik ID klaster target, dan dapatkan jalur penyimpanan root klaster di bagian Cluster Information tab Basic Information.
   hologres_vpc_endpoint	Endpoint jenis jaringan VPC dari instance Hologres. Anda dapat masuk ke Konsol Hologres, klik ID instance target, dan dapatkan endpoint VPC di bagian Informasi Jaringan halaman Detail Instance. Sebagai contoh, endpoint VPC di wilayah China (Hangzhou) berformat <Instance ID>-cn-hangzhou-vpc-st.hologres.aliyuncs.com:80.
   database_name	Nama database dalam instance Hologres.
   accesskey_id	ID AccessKey dengan izin baca pada database Hologres yang sesuai.
   accesskey_secret	Rahasia AccessKey dengan izin baca pada database Hologres yang sesuai.
   table_name	Nama tabel tujuan Hologres.
   write.mode	Mode penulisan. Nilai yang valid: auto: Nilai default, menunjukkan bahwa konektor secara otomatis memilih mode optimal. insert: Gunakan mode INSERT INTO VALUES. stream: Gunakan mode FIXED COPY untuk penulisan streaming. bulk_load: Gunakan mode COPY untuk impor batch ke tabel tanpa kunci utama. bulk_load_on_conflict: Gunakan mode COPY untuk impor batch ke tabel dengan kunci utama.
   write.insert.thread_size	Konkurensi penulisan, hanya efektif saat menggunakan mode INSERT INTO VALUES.
   write.insert.batch_size	Ukuran penulisan batch, hanya efektif saat menggunakan mode INSERT INTO VALUES.
   write.on_conflict_action	INSERT_OR_REPLACE (default): Perbarui pada konflik kunci utama. INSERT_OR_IGNORE: Abaikan pada konflik kunci utama.

   Untuk informasi parameter lebih lanjut, lihat Parameter.

Skenario pengujian

Hasil pengujian

Hasil pengujian mencakup bidang berikut.

SELECT
    COUNT(*), AVG(duration) AS avg_duration_ms
FROM
    hologres.hg_query_log
WHERE
    query_start >= '<start_time>' AND query_start <= '<end_time>'
    AND query LIKE '%<test_table_column>%' AND command_tag = 'COPY';

Tabel berikut memberikan hasil pengujian rinci.