Hologres:Praktik terbaik untuk penulisan batch

Siapkan lingkungan dasar

Siapkan lingkungan berikut:

• Aktifkan instans Hologres V2.2.25 atau versi yang lebih baru dan buat database.

• Buat kluster EMR-Spark yang menjalankan Spark V3.3.0 atau versi yang lebih baru. Untuk informasi selengkapnya, lihat Buat kluster.

• Unduh paket Spark-Connector.

  Anda dapat mengunduh paket JAR konektor hologres-connector-spark-3.x dari Maven Central Repository. Paket ini diperlukan agar Spark dapat membaca dan menulis data ke Hologres.

Konteks lingkungan untuk topik ini adalah sebagai berikut:

Siapkan data uji

1. Siapkan data mentah.

   1. Login ke node master kluster EMR-Spark. Untuk informasi selengkapnya, lihat Metode untuk menghubungkan ke instans ECS.

   2. Klik TPC-H_Tools_v3.0.0.zip untuk mengunduh tool TPC-H. Salin paket tersebut ke instans ECS pada node master kluster, ekstrak paketnya, lalu navigasikan ke direktori TPC-H_Tools_v3.0.0/TPC-H_Tools_v3.0.0/dbgen.

   3. Jalankan kode berikut untuk menghasilkan file set data uji customer.tbl berukuran 1 TB di direktori dbgen. Ukuran file .tbl mentah adalah 23 GB.

      ./dbgen -s 1000 -T c

      Tabel berikut menjelaskan tabel customer dalam dataset uji TPC-H 1 TB.

      Informasi tabel	Deskripsi
      Volume data suatu bidang	8
      Tipe bidang	INT, BIGINT, TEXT, DECIMAL
      Jumlah baris	150.000.000
      Jumlah shard tabel	40

2. Impor data uji ke Spark.

   Jalankan perintah berikut untuk mengunggah file customer.tbl ke kluster Spark.

   hadoop fs -put customer.tbl <spark_resource>

   spark_resource adalah Root Path of Cluster Storage yang Anda tentukan saat membuat kluster EMR-Spark.

3. Buat tabel dengan format penyimpanan berbeda di Hologres. Perintah SQL-nya adalah sebagai berikut:

   Columnar dan row-oriented

   CREATE TABLE test_table_mixed (
       C_CUSTKEY BIGINT PRIMARY KEY,
       C_NAME TEXT,
       C_ADDRESS TEXT,
       C_NATIONKEY INT,
       C_PHONE TEXT,
       C_ACCTBAL DECIMAL(15, 2),
       C_MKTSEGMENT TEXT,
       C_COMMENT TEXT
   )
   WITH (
       orientation = 'column,row'
   );

   Columnar (dengan primary key)

   CREATE TABLE test_table_column (
       C_CUSTKEY BIGINT PRIMARY KEY,
       C_NAME TEXT,
       C_ADDRESS TEXT,
       C_NATIONKEY INT,
       C_PHONE TEXT,
       C_ACCTBAL DECIMAL(15, 2),
       C_MKTSEGMENT TEXT,
       C_COMMENT TEXT
   )
   WITH (
       orientation = 'column'
   );

   Columnar (tanpa primary key)

   CREATE TABLE test_table_column_no_pk (
       C_CUSTKEY BIGINT,
       C_NAME TEXT,
       C_ADDRESS TEXT,
       C_NATIONKEY INT,
       C_PHONE TEXT,
       C_ACCTBAL DECIMAL(15, 2),
       C_MKTSEGMENT TEXT,
       C_COMMENT TEXT
   )
   WITH (
       orientation = 'column'
   );

   Row-oriented (dengan primary key)

   CREATE TABLE test_table_row (
       C_CUSTKEY BIGINT PRIMARY KEY,
       C_NAME TEXT,
       C_ADDRESS TEXT,
       C_NATIONKEY INT,
       C_PHONE TEXT,
       C_ACCTBAL DECIMAL(15, 2),
       C_MKTSEGMENT TEXT,
       C_COMMENT TEXT
   )
   WITH (
       orientation = 'row'
   );

   Row-oriented (tanpa primary key)

   CREATE TABLE test_table_row_no_pk (
       C_CUSTKEY BIGINT,
       C_NAME TEXT,
       C_ADDRESS TEXT,
       C_NATIONKEY INT,
       C_PHONE TEXT,
       C_ACCTBAL DECIMAL(15, 2),
       C_MKTSEGMENT TEXT,
       C_COMMENT TEXT
   )
   WITH (
       orientation = 'row'
   );

Konfigurasi pengujian

Pengujian ini terutama mengukur kinerja impor dalam mode berbeda.

1. Login ke node master kluster EMR-Spark. Untuk informasi selengkapnya, lihat Metode untuk menghubungkan ke instans ECS. Kemudian, unggah paket Spark-Connector yang telah diunduh dan jalankan perintah berikut untuk masuk ke antarmuka interaktif spark-sql.

   Catatan

   Anda dapat menyesuaikan parameter spark.sql.files.maxPartitionBytes untuk mengontrol konkurensi Spark saat membaca file HDFS. Dalam pengujian ini, konkurensi diatur ke 40.

   # Masuk ke antarmuka interaktif spark-sql
   
   spark-sql --jars <path>/hologres-connector-spark-3.x-1.5.2-jar-with-dependencies.jar \
   --conf spark.executor.instances=40 \
   --conf spark.executor.cores=1 \
   --conf spark.executor.memory=4g \
   --conf spark.sql.files.maxPartitionBytes=644245094

   path adalah path root tempat file hologres-connector-spark-3.x-1.5.2-jar-with-dependencies.jar berada.

2. Di antarmuka interaktif spark-sql, jalankan pernyataan SQL berikut untuk menulis data dengan membuat tabel sementara.

   Tabel sementara dibuat karena Anda perlu menyesuaikan parameter beberapa kali untuk menguji kinerja penulisan dalam mode berbeda.

   Catatan

   Dalam praktiknya, Anda dapat langsung menggunakan Catalog untuk memuat tabel Hologres, yang menyederhanakan proses.

   -- Buat tabel sementara dalam format CSV.
   CREATE TEMPORARY VIEW csvtable (
     c_custkey BIGINT,
     c_name STRING,
     c_address STRING,
     c_nationkey INT,
     c_phone STRING,
     c_acctbal DECIMAL(15, 2),
     c_mktsegment STRING,
     c_comment STRING)
   USING csv OPTIONS (
     path "<spark_resources>/customer.tbl", sep "|"
   );
   
   CREATE TEMPORARY VIEW hologresTable (
     c_custkey BIGINT,
     c_name STRING,
     c_address STRING,
     c_nationkey INT,
     c_phone STRING,
     c_acctbal DECIMAL(15, 2),
     c_mktsegment STRING,
     c_comment STRING)
   USING hologres OPTIONS (
     jdbcurl "jdbc:postgresql://<hologres_vpc_endpoint>/<database_name>",
     username "<accesskey_id>", 
     password "<accesskey_secret>", 
     table "<table_name>",
     direct_connect "false",
     write.mode "auto",
     write.insert.thread_size "3",
     write.insert.batch_size "2048"
   );
   
   INSERT INTO hologresTable SELECT * FROM csvTable;

   Tabel berikut menjelaskan parameter-parameter tersebut.

   Nama Parameter	Deskripsi
   spark_resources	Root Path of Cluster Storage yang Anda konfigurasi saat membuat kluster EMR-Spark. Anda dapat masuk ke Konsol EMR pada ECS, mengklik ID kluster tujuan, lalu memperoleh jalur akar penyimpanan kluster di bagian Cluster Information pada halaman Basic Information.
   hologres_vpc_endpoint	Domain Name VPC instans Hologres. Anda dapat login ke Konsol Manajemen Hologres, klik ID instans tujuan, lalu dapatkan nama domain untuk VPC yang ditentukan di bagian informasi jaringan halaman produk. Misalnya, format VPC Endpoint di wilayah China (Hangzhou) adalah <ID Instans>-cn-hangzhou-vpc-st.hologres.aliyuncs.com:80.
   database_name	Nama database di instans Hologres.
   accesskey_id	ID AccessKey yang memiliki izin baca pada database Hologres yang sesuai.
   accesskey_secret	Rahasia AccessKey yang memiliki izin baca pada database Hologres yang sesuai.
   table_name	Nama tabel tujuan di Hologres tempat Anda ingin menulis data.
   write.mode	Mode penulisan. Nilai yang valid: auto: Nilai default. Konektor memilih mode optimal. insert: Menulis data menggunakan metode INSERT INTO VALUES. stream: Menulis data dalam mode stream menggunakan FIXED COPY. bulk_load: Impor batch data ke tabel tanpa primary key menggunakan mode COPY. bulk_load_on_conflict: Impor batch data ke tabel dengan primary key menggunakan mode COPY.
   write.insert.thread_size	Konkurensi penulisan. Parameter ini hanya berlaku saat Anda menggunakan mode INSERT.
   write.insert.batch_size	Ukuran batch penulisan. Parameter ini hanya berlaku saat Anda menggunakan mode INSERT.
   write.on_conflict_action	INSERT_OR_REPLACE (default): Memperbarui data jika terjadi konflik primary key. INSERT_OR_IGNORE: Mengabaikan data jika terjadi konflik primary key.

   Untuk informasi selengkapnya, lihat Deskripsi parameter.

Skenario pengujian

Hasil pengujian

Hasil pengujian mencakup bidang-bidang berikut:

SELECT
    COUNT(*), AVG(duration) AS avg_duration_ms
FROM
    hologres.hg_query_log
WHERE
    query_start >= '<start_time>' AND query_start <= '<end_time>'
    AND query LIKE '%<test_table_column>%' AND command_tag = 'COPY';

Tabel berikut menunjukkan hasil pengujian secara detail.