PolarDB:Uji TPC-H untuk clustered columnar index (100 GB)

Latar Belakang

TPC-H adalah benchmark decision support yang ditetapkan oleh Transaction Processing Performance Council (TPC) untuk mengevaluasi kemampuan database dalam menjalankan kueri analitis. Beban kerja TPC-H terdiri dari delapan tabel dan 22 kueri SQL kompleks, yang sebagian besar mencakup penggabungan tabel, subkueri, dan agregasi GROUP BY.

Desain Pengujian

Ukuran Dataset

Pengujian ini menggunakan dataset berukuran 100 GB (Scale Factor = 100). Tabel utama meliputi:

• LINEITEM: sekitar 600 juta baris

• ORDERS: 150 juta baris

• PART_SUPP: 80 juta baris

Spesifikasi instans uji

Spesifikasi Instans Uji Stres

ecs.g7.4xlarge (16 vCPU, 64 GB memory)

Prosedur

Langkah 1: Siapkan ECS untuk uji stres

Siapkan satu instans ECS. Anda akan menggunakan instans ini untuk semua operasi selanjutnya, seperti impor data dan menjalankan uji stres.

Langkah 2: Siapkan instans PolarDB-X

Buat instans PolarDB-X. Untuk petunjuk lengkap, lihat Create an instance.

Langkah 3: Sesuaikan parameter instans

1. Atur parameter XPROTO_MAX_DN_CONCURRENT menjadi 4000. Untuk petunjuk lengkap, lihat Parameter settings.

2. Hubungkan ke instans PolarDB-X menggunakan command-line interface (CLI). Dalam sesi yang sama, jalankan pernyataan SQL berikut untuk menonaktifkan pencatatan SQL, pengambilan sampel CPU, dan pengumpulan statistik otomatis.

   set global RECORD_SQL = false;
   set global MPP_METRIC_LEVEL = 0;
   set global ENABLE_CPU_PROFILE = false;
   set global ENABLE_BACKGROUND_STATISTIC_COLLECTION=false;
   set global ENABLE_STATISTIC_FEEDBACK=false;

Langkah 4: Instal tool Benchmark Boot

1. Buka port 4121 di security group instans ECS untuk uji stres. Untuk informasi lebih lanjut, lihat Add a security group rule.

2. Login ke instans ECS untuk uji stres dan jalankan perintah bash -c "$(curl -fsSL https://benchmark-boot.oss-cn-hangzhou.aliyuncs.com/setup.sh)" untuk menginstal Benchmark Boot. Untuk informasi lebih lanjut, lihat Download and install Benchmark Boot.

3. Buka browser Anda dan akses http://{alamat IP publik instans uji stres}:4121. Halaman utama Benchmark Boot akan muncul, yang menandakan instalasi berhasil.

Langkah 5: Persiapkan data

1. Di konsol Benchmark Boot, navigasi ke Stress Test > Database Connection > Configure Database Connection. Konfigurasikan string koneksi PolarDB-X (alamat IP host, port, username, dan password). Masukkan nama database TPC-H, pilih AUTO untuk Database Creation Mode, lalu klik Submit.

2. Navigasi ke Stress Test > TPCH > Import TPC-H. Atur nilai Submit pertama ke 100 dan nilai Submit kedua ke 16. Klik Submit untuk mengimpor set data TPC-H 100 GB ke instans utama PolarDB-X.

   Catatan

   Setelah data diimpor, Benchmark Boot secara otomatis menjalankan pernyataan ANALYZE TABLE untuk mengumpulkan statistik.

3. Setelah dataset TPC-H 100 GB diimpor, jalankan pernyataan SQL berikut pada instans primary PolarDB-X untuk membuat clustered columnar index (CCI). Untuk informasi lebih lanjut, lihat Create and use CCIs.

   create clustered columnar index `nation_col_index` on nation(`n_nationkey`) partition by hash(`n_nationkey`) partitions 1;
   
   create clustered columnar index `region_col_index` on region(`r_regionkey`) partition by hash(`r_regionkey`) partitions 1;
   
   create clustered columnar index `customer_col_index` on customer(`c_custkey`) partition by hash(`c_custkey`) partitions 64;
   
   create clustered columnar index `part_col_index` on part(`p_size`) partition by hash(`p_partkey`) partitions 64;
   
   create clustered columnar index `partsupp_col_index` on partsupp(`ps_partkey`) partition by hash(`ps_partkey`) partitions 64;
   
   create clustered columnar index `supplier_col_index` on supplier(`s_suppkey`) partition by hash(`s_suppkey`) partitions 64;
   
   create clustered columnar index `orders_col_index` on orders(`o_orderdate`,`o_orderkey`) partition by hash(`o_orderkey`) partitions 64;
   
   create clustered columnar index `lineitem_col_index` on lineitem(`l_shipdate`,`l_orderkey`) partition by hash(`l_orderkey`) partitions 64;

   Catatan

   • Anda dapat menjalankan pernyataan SHOW COLUMNAR INDEX untuk melihat status CCI saat ini. Untuk informasi lebih lanjut, lihat SHOW COLUMNAR INDEX.

   • Pembuatan CCI memerlukan waktu sekitar 45 menit.

Langkah 6: Tambahkan instans column store read-only

Tambahkan instans column store read-only ke instans primary PolarDB-X. Untuk petunjuk lengkap, lihat Add a read-only column store instance.

Langkah 7: Jalankan uji TPC-H

1. Di konsol Benchmark Boot, navigasi ke Stress Test > Database Connection > Configure Database Connection. Konfigurasikan string koneksi untuk instans column store read-only, masukkan nama database TPC-H, pilih AUTO untuk Database Creation Mode, lalu klik Submit.

2. Navigasi ke Stress Test > TPCH > Run TPCH. Pilih Submit, masukkan deskripsi tugas, lalu klik Submit untuk menjalankan 22 kueri benchmark TPC-H.

3. Navigasi ke Test Result > TPCH untuk melihat hasil akhir pengujian.

   Catatan

   Eksekusi benchmark pertama memerlukan warm-up. Untuk hasil yang stabil, kami merekomendasikan menjalankan pengujian beberapa kali.

Hasil Pengujian

Semua waktu eksekusi dalam satuan detik (s).