PolarDB：Uji TPC-H untuk CCIs berdasarkan 100 GB data

Informasi latar belakang

TPC-H adalah benchmark yang banyak digunakan untuk mengevaluasi kemampuan kueri analitik database. Benchmark ini dikembangkan oleh Transaction Processing Performance Council (TPC). Dalam TPC-H, 22 kueri SQL kompleks dijalankan pada delapan tabel. Sebagian besar kueri melibatkan join antar-tabel, subkueri, dan klausa GROUP BY.

Desain pengujian

Jumlah data pengujian

Pengujian ini menggunakan 100 GB data, yang menunjukkan faktor skalar sebesar 100. Berikut adalah jumlah data di setiap tabel utama:

• Tabel LINEITEM berisi sekitar 600 juta baris data.

• Tabel ORDERS berisi 150 juta baris data.

• Tabel PART_SUPP berisi 80 juta baris data.

Spesifikasi instance untuk uji TPC-H

Tipe instance ECS untuk uji stres

ecs.g7.4xlarge (16 vCPU dan 64 GB memori)

Prosedur

Langkah 1: Buat instance ECS untuk uji stres

Buat instance Elastic Compute Service (ECS) untuk menyiapkan data dan menjalankan uji stres.

Langkah 2: Buat instance PolarDB-X untuk uji stres

Buat instance PolarDB-X. Untuk informasi lebih lanjut, lihat Buat Instance PolarDB-X.

Langkah 3: Sesuaikan parameter instance

1. Atur parameter XPROTO_MAX_DN_CONCURRENT menjadi 4000. Untuk informasi lebih lanjut, lihat Atur Parameter.

2. Sambungkan ke instance PolarDB-X menggunakan CLI dan jalankan pernyataan SQL berikut dalam sesi yang sama untuk menonaktifkan logging, pengambilan sampel statistik CPU, dan pengumpulan statistik:

   set global RECORD_SQL = false;
   set global MPP_METRIC_LEVEL = 0;
   set global ENABLE_CPU_PROFILE = false;
   set global ENABLE_BACKGROUND_STATISTIC_COLLECTION=false;
   set global ENABLE_STATISTIC_FEEDBACK=false;

Langkah 4: Instal Benchmark Boot

1. Aktifkan port 4121 untuk grup keamanan instance ECS. Untuk informasi lebih lanjut, lihat Tambah Aturan Grup Keamanan.

2. Masuk ke instance ECS dan jalankan perintah bash -c "$(curl -fsSL https://benchmark-boot.oss-cn-hangzhou.aliyuncs.com/setup.sh)" untuk menginstal Benchmark Boot. Untuk informasi lebih lanjut, lihat Unduh dan Instal Benchmark Boot.

3. Akses http://{Public IP address of the ECS instance}:4121 menggunakan browser. Jika halaman utama Benchmark Boot muncul, instalasi berhasil.

Langkah 5: Persiapkan data

1. Di halaman utama Benchmark Boot, pilih Stress Test > Database Connection > Configure Database Connection. Di halaman yang muncul, konfigurasikan alamat IP host, port, nama pengguna, kata sandi, dan perpustakaan TPC-H, serta atur mode pembuatan perpustakaan ke AUTO untuk membuat koneksi PolarDB-X. Klik Submit.

2. Pilih Stress Test > TPCH > Import TPC-H, atur ukuran dataset input menjadi 100 GB dan jumlah shard fisik menjadi 16, lalu klik Submit untuk mengimpor 100 GB data uji ke instance PolarDB-X utama.

   Catatan

   Setelah data diimpor, Benchmark Boot secara otomatis menjalankan pernyataan analyze table untuk mengumpulkan statistik.

3. Setelah data diimpor, jalankan pernyataan SQL berikut di instance PolarDB-X utama untuk membuat CCI. Untuk informasi lebih lanjut, lihat Buat dan Gunakan CCI.

   create clustered columnar index `nation_col_index` on nation(`n_nationkey`) partition by hash(`n_nationkey`) partitions 1;
   
   create clustered columnar index `region_col_index` on region(`r_regionkey`) partition by hash(`r_regionkey`) partitions 1;
   
   create clustered columnar index `customer_col_index` on customer(`c_custkey`) partition by hash(`c_custkey`) partitions 64;
   
   create clustered columnar index `part_col_index` on part(`p_size`) partition by hash(`p_partkey`) partitions 64;
   
   create clustered columnar index `partsupp_col_index` on partsupp(`ps_partkey`) partition by hash(`ps_partkey`) partitions 64;
   
   create clustered columnar index `supplier_col_index` on supplier(`s_suppkey`) partition by hash(`s_suppkey`) partitions 64;
   
   create clustered columnar index `orders_col_index` on orders(`o_orderdate`,`o_orderkey`) partition by hash(`o_orderkey`) partitions 64;
   
   create clustered columnar index `lineitem_col_index` on lineitem(`l_shipdate`,`l_orderkey`) partition by hash(`l_orderkey`) partitions 64;

   Catatan

   • Anda dapat menjalankan pernyataan show columnar index untuk melihat status CCI. Untuk informasi lebih lanjut, lihat SHOW COLUMNAR INDEX.

   • Dibutuhkan sekitar 45 menit untuk membuat CCI.

Langkah 6: Tambahkan instance penyimpanan kolom baca saja

Tambahkan instance penyimpanan kolom baca saja ke instance PolarDB-X utama. Untuk informasi lebih lanjut, lihat Tambahkan Instance Kolomar Baca Saja.

Langkah 7: Jalankan uji TPC-H

1. Di halaman utama Benchmark Boot, pilih Stress Test > Database Connection > Configure Database Connection. Di halaman yang muncul, konfigurasikan nama perpustakaan TPC-H dan atur mode pembuatan perpustakaan ke AUTO untuk membuat string koneksi untuk instance penyimpanan kolom baca saja. Klik Submit.

2. Di halaman utama Benchmark Boot, pilih Stress Test > TPCH > Run TPCH. Di halaman yang muncul, pilih Semua Kueri, tentukan deskripsi tugas, dan klik Submit untuk menjalankan 22 pernyataan kueri untuk uji TPC-H.

3. Di halaman utama Benchmark Boot, pilih Test Result > TPCH untuk melihat hasil uji.

   Catatan

   Pemanasan diperlukan jika uji TPC-H dijalankan untuk pertama kalinya. Disarankan untuk menjalankan beberapa putaran uji untuk mendapatkan hasil yang stabil.

Hasil uji

Tabel berikut menunjukkan hasil uji. Satuan: detik.