Hasil pengujian yang dilakukan pada instans Hologres di Alibaba Cloud public cloud - Hologres

Topik ini menjelaskan hasil dari tes kinerja yang dirinci dalam topik "Rencana Tes".

Informasi Latar Belakang

Hasil tes dalam topik ini diperoleh dari tes yang dilakukan di instans Hologres yang diterapkan pada cloud publik Alibaba Cloud.

Hasil Tes yang Menggunakan Dataset TPC-H 100 GB

Tabel berikut menunjukkan jumlah baris di setiap tabel dan spesifikasi instans yang digunakan untuk tes kinerja TPC-H.

Jumlah Baris per Tabel
Nama Tabel
Jumlah Baris
LINEITEM
600.037.902
ORDERS
150.000.000
PARTSUPP
80.000.000
PART
15.000.000
CUSTOMER
20.000.000
SUPPLIER
1.000.000
NATION
25
REGION
5

Spesifikasi Instans

Sumber Daya Komputasi	Zona	Catatan
64 CUs (64 inti CPU dan 256 GB memori)	Zona J Hangzhou	Gunakan konfigurasi default dari instans. Jumlah shard adalah 40.
128 CUs (128 inti CPU dan 512 GB memori)	Zona J Hangzhou	Gunakan konfigurasi default dari instans. Jumlah shard adalah 80.

Hasil Tes

Kinerja Query OLAP

Waktu eksekusi query terhadap tabel internal Hologres diukur dalam detik. Tabel berikut mencantumkan durasi eksekusi setiap query di Hologres. Seiring dengan meningkatnya spesifikasi instans, durasi eksekusi berkurang secara linear.

TPC-H Query ID	TPC-H 100 GB		TPC-H 100 GB
TPC-H Query ID	64 CUs (V3.1.3)	128 CUs (V3.1.3)	64 CUs (V2.2.19)	128 CUs (V2.2.19)
1	0,48	0,36	0,55	0,34
2	0,19	0,18	0,17	0,15
3	0,43	0,28	0,38	0,29
4	0,26	0,15	0,32	0,19
5	0,53	0,41	0,68	0,48
6	0,1	0,12	0,10	0,08
7	0,48	0,34	0,55	0,36
8	0,48	0,37	0,51	0,38
9	1,52	0,91	1,62	1,00
10	0,81	0,43	0,69	0,47
11	0,19	0,17	0,37	0,32
12	0,19	0,14	0,22	0,15
13	0,53	0,36	0,67	0,37
14	0,19	0,13	0,19	0,13
15	0,34	0,19	0,36	0,23
16	0,35	0,29	0,41	0,33
17	0,21	0,18	0,22	0,16
18	1,57	0,89	2,02	0,94
19	0,26	0,19	0,25	0,17
20	0,24	0,22	0,24	0,27
21	0,79	0,56	1,03	0,63
22	0,26	0,18	0,28	0,22
Total	10,4	7,05	11,83	7,66

Kinerja Query Point Key/Value

Hasil tes didasarkan pada query terhadap tabel internal Hologres. Versi perangkat lunak adalah r1.1.42. Setiap jenis query dijalankan terus-menerus selama 5 menit. Tabel berikut menunjukkan nilai spesifik dalam hasil tes. Seiring dengan meningkatnya spesifikasi instans, QPS meningkat secara linear.

Skenario	Contoh Pernyataan SQL	Spesifikasi Instans	Jumlah Klien Paralel	QPS (termasuk waktu koneksi)	QPS (tidak termasuk waktu koneksi)	Latensi Query Rata-rata
1	`SELECT O_ORDERKEY ,O_CUSTKEY ,O_ORDERSTATUS ,O_TOTALPRICE ,O_ORDERDATE ,O_ORDERPRIORITY ,O_CLERK ,O_SHIPPRIORITY ,O_COMMENT FROM public.orders_row WHERE o_orderkey = {parameter} ;`	64 CUs	500	112.435	112.443	4,447 ms
1		128 CUs	1.000	242.755	242.772	4,119 ms
2	`SELECT O_ORDERKEY ,O_CUSTKEY ,O_ORDERSTATUS ,O_TOTALPRICE ,O_ORDERDATE ,O_ORDERPRIORITY ,O_CLERK ,O_SHIPPRIORITY ,O_COMMENT FROM public.orders_row WHERE o_orderkey in ( {parameter1}, {parameter2}, {parameter3}, {parameter4}, {parameter5}, {parameter6}, {parameter7}, {parameter8}, {parameter9} );`	64 CUs	500	27.632	27.634	18,094 ms
2		128 CUs	1.000	90.086	90.092	11,100 ms

Kinerja Penulisan Data

Waktu impor menunjukkan waktu yang diperlukan untuk mengimpor data ke tabel internal Hologres, diukur dalam detik. Tabel berikut mencantumkan waktu impor dalam skenario berbeda yang menyediakan 64 CUs sumber daya komputasi.

Catatan

Jika Anda menjalankan pernyataan COPY untuk mengimpor data, data diimpor dari satu file ke satu tabel di Hologres pada satu waktu. Impor paralel tidak tersedia.

Nama Tabel	Jumlah Baris	Ukuran Data	Waktu yang Dibutuhkan untuk Mengimpor Data melalui Internet dengan Menggunakan COPY	Waktu yang Dibutuhkan untuk Mengimpor Data di VPC dengan Menggunakan COPY	Waktu yang Dibutuhkan untuk Mengimpor Data dengan Menggunakan Tabel Asing MaxCompute
LINEITEM	600.037.902	73,6 GB	3.070,453	694,364	148,165
ORDERS	150.000.000	16,4 GB	691,060	172,529	37,741
PARTSUPP	80.000.000	2,3 GB	468,560	107,092	18,488
PART	20.000.000	11,3 GB	96,342	24,020	8,083
CUSTOMER	15.000.000	2,3 GB	95,190	22,937	10,363
SUPPLIER	1.000.000	132 MB	5,057	1,803	1,503
NATION	25	2 KB	0,580	0,584	0,747
REGION	5	0,375 KB	0,168	0,153	0,430
ORDERS_ROW	150.000.000	16,4 GB	717.653	143,800	25,676
Total		122,4 GB	722.080,410	1.167,282	251,196

Dalam diagram batang berikut, batang biru menunjukkan waktu yang diperlukan untuk mengimpor data melalui Internet menggunakan pernyataan COPY. Batang hijau menunjukkan waktu yang diperlukan untuk mengimpor data di virtual private cloud (VPC) menggunakan pernyataan COPY. Batang abu-abu menunjukkan waktu yang diperlukan untuk mengimpor data menggunakan tabel asing MaxCompute. Nilai sumbu-y yang lebih kecil menunjukkan kecepatan impor yang lebih cepat.

Catatan

Sumbu-x mewakili nama tabel, dan sumbu-y mewakili waktu impor yang diukur dalam detik.

Kesimpulan berikut dapat ditarik berdasarkan diagram batang:

Jika Anda menjalankan pernyataan COPY untuk mengimpor data, waktu impor dipengaruhi oleh bandwidth. Waktu yang diperlukan untuk mengimpor data di VPC lebih singkat daripada waktu yang diperlukan untuk mengimpor data melalui Internet.
Waktu yang diperlukan untuk mengimpor data menggunakan tabel asing MaxCompute lebih singkat daripada waktu yang diperlukan untuk mengimpor data dengan menjalankan pernyataan COPY.

导入时间图示

Kinerja Pembaruan Data

Hasil tes didasarkan pada pembaruan data di tabel internal Hologres. Versi perangkat lunak adalah r1.1.42. Setiap jenis query dijalankan terus-menerus selama 5 menit. Tabel berikut menunjukkan nilai spesifik dalam hasil tes. Seiring dengan meningkatnya spesifikasi instans, QPS meningkat secara linear.

Contoh Pernyataan SQL

Spesifikasi Instans

Jumlah Klien Paralel

QPS (termasuk waktu koneksi)

QPS (tidak termasuk waktu koneksi)

Latensi Query Rata-rata

INSERT INTO public.orders_row(
    o_orderkey
    ,o_custkey
    ,o_orderstatus
    ,o_totalprice
    ,o_orderdate
    ,o_orderpriority
    ,o_clerk
    ,o_shippriority
    ,o_comment
) VALUES (
  {parameter}
  ,1
  ,'demo'
  ,1.1
  ,'2021-01-01'
  ,'demo'
  ,'demo'
  ,1
  ,'demo') 
on conflict(o_orderkey) 
do update set (
  o_orderkey
  ,o_custkey
  ,o_orderstatus
  ,o_totalprice
  ,o_orderdate
  ,o_orderpriority
  ,o_clerk
  ,o_shippriority
  ,o_comment
)= ROW(excluded.*);

64 CUs

500

92.006

92.000

5,435 ms

128 CUs

1.000

191.761

191.771

5,215 ms

Hasil Tes yang Menggunakan Dataset TPC-H 1 TB

Tabel berikut menunjukkan jumlah baris di setiap tabel dan spesifikasi instans yang digunakan untuk tes kinerja TPC-H.

Jumlah Baris per Tabel

Nama Tabel	Jumlah Baris	Ukuran Data
LINEITEM	5.999.989.709	752,27 GB
ORDERS	1.500.000.000	167,11 GB
PARTSUPP	800.000.000	114,45 GB
PART	150.000.000	22,94 GB
CUSTOMER	200.000.000	22,85 GB
SUPPLIER	10.000.000	1,33 GB
NATION	25	2,15 KB
REGION	5	0,38 KB

Spesifikasi Instans
Sumber Daya Komputasi
Kapasitas Penyimpanan
Catatan
96 CUs
(96 inti CPU dan 384 GB memori)
1.000 GB
Gunakan konfigurasi default dari instans. Jumlah shard adalah 60.

Hasil Tes: Kinerja Query OLAP

Durasi eksekusi query terhadap tabel internal Hologres diukur dalam detik. Tabel berikut mencantumkan durasi eksekusi setiap query di Hologres.

ID Query TPC-H	Waktu Query (V4.0.4)	Waktu Query (V3.1.3)	Waktu Query (V3.0.5)
1	3,07	3,00	8,47
2	0,34	0,39	0,36
3	3,98	3,60	5,77
4	1,53	1,78	1,71
5	4,55	4,68	7,65
6	0,27	0,32	0,34
7	3,48	3,25	3,56
8	1,97	2,34	5,61
9	13,28	13,94	16,83
10	4,33	5,89	5,61
11	1,79	2,42	2,23
12	0,69	0,93	0,84
13	4,56	4,58	5,78
14	0,78	0,83	0,79
15	1,87	1,96	2,27
16	2,02	1,85	1,64
17	0,93	1,05	4,64
18	11,51	13,08	13,74
19	0,86	1,45	3,00
20	0,76	1,22	0,95
21	4,73	5,15	7,20
22	2,72	2,57	2,17
Total	69,99	76,27	101,16

Hasil Tes Menggunakan Realtime Compute for Apache Flink untuk Menulis Data ke Hologres secara Real-time

Informasi Dataset
- Instans Hologres
  Sumber Daya Komputasi
  Versi Perangkat Lunak
  Catatan
  64 CUs (64 inti CPU dan 256 GB memori)
  r1.1.53
  Gunakan konfigurasi default dari instans. Jumlah shard adalah 40.
- Flink yang Dikelola Penuh
  Versi Mesin
  vvr-4.0.12-flink-1.13
  Mode Konfigurasi
  Mode Dasar
  Paralelisme
  15
  CPU Job Manager
  1
  Memori Job Manager
  1 GiB
  CPU Task Manager
  1
  Memori Task Manager
  6 GiB
Hasil Tes
Gambar berikut menunjukkan hasil tes. Dari pukul 19:35 hingga 19:50 pada tanggal 8 April 2022, rekaman per detik (RPS) maksimum adalah 580.234 dan RPS minimum adalah 357.729.

Sumber Daya Komputasi	Versi Perangkat Lunak	Catatan
64 CUs (64 inti CPU dan 256 GB memori)	r1.1.53	Gunakan konfigurasi default dari instans. Jumlah shard adalah 40.

Versi Mesin	vvr-4.0.12-flink-1.13
Mode Konfigurasi	Mode Dasar
Paralelisme	15
CPU Job Manager	1
Memori Job Manager	1 GiB
CPU Task Manager	1
Memori Task Manager	6 GiB