Bu konu, OLAP paralel sorgu performansını ölçmek amacıyla PolarDB for MySQL 8.0 Cluster Edition kümesinde TPC-H kıyaslamasının nasıl çalıştırılacağını açıklar.
TPC-H, paralel sorgunun hızlandırmak üzere tasarlandığı sorgu kalıplarına odaklanır: büyük veri kümeleri üzerinde çok tablolu JOIN'ler, alt sorgular ve GROUP BY toplamları. Bu 22 sorguyu paralel sorgu etkinken ve etkisizken çalıştırmak, kendi ortamınızdaki performans kazançlarını değerlendirmek için tekrarlanabilir bir temel sağlar.
Test ortamı
ECS örneği ve PolarDB for MySQL kümesi aynı bölge, alan ve VPC içinde dağıtılır.
PolarDB for MySQL kümesi
| Parametre | Değer |
|---|---|
| Küme sayısı | 1 |
| Veritabanı motoru | MySQL 8.0.1 veya MySQL 8.0.2 |
| Ürün sürümü | Enterprise Edition |
| Sürüm | Cluster Edition |
| Teknik özellikler türü | Özel |
| Düğüm teknik özellikleri | polar.mysql.x8,4xlarge (32 çekirdek, 256 GB) |
| Düğüm sayısı | 2 (1 birincil düğüm, 1 salt okunur düğüm) |
Test, kümeye bağlanmak için birincil uç noktayı kullanır. Daha fazla bilgi için bkz. Bir kümenin uç noktalarını yönetin .
ECS örneği
| Parametre | Değer |
|---|---|
| Örnek türü | ecs.c5.4xlarge (16 vCPU, 32 GiB) |
| Görüntü | CentOS 7.0 64-bit |
| Sistem diski | ESSD, 1000 GB |
Test aracı
TPC-H, veritabanı analitik sorgu performansını değerlendirmek amacıyla Transaction Processing Performance Council (TPC) tarafından geliştirilen bir kıyaslama aracıdır. 8 tablo ve %22 karmaşık SQL ifadesi içerir. Çoğu sorgu, paralel çalıştırmadan en çok faydalanan iş yükü kalıpları olan çok tablolu JOIN'leri, alt sorguları ve GROUP BY yan tümcelerini birleştirir.
Bu test TPC-H kıyaslamasına dayanır ancak tüm TPC-H gereksinimlerini karşılamaz. Sonuçlar, yayımlanmış TPC-H kıyaslama sonuçlarıyla karşılaştırılamaz.
TPC-H araçlarını yükleyin
Aşağıdaki komutları çalıştırmadan önce ECS örneğine root kullanıcısı olarak giriş yapın.
Bu konuda TPC-H_Tools_v2.18.0 kullanılmaktadır. İndirmeden önce kayıt olmanız gerekir.
TPC-H paketini kaydedip indirin ve ardından ECS örneğine yükleyin. Daha fazla bilgi için bkz. Dosyaları yükleyin.
-
Paketi sıkıştırmadan çıkarın.
TPC-H-Tool.zipyerine gerçek dosya adını yazın.unzip TPC-H-Tool.zip -
dbgendizinine gidin.TPC-H-Tool/dbgenyerine gerçek yolu yazın.cd TPC-H-Tool/dbgen -
makefile.suitedosyasınımakefileolarak kopyalayın.cp makefile.suite makefile -
GCC'yi yükleyin.
Bu örnek CentOS kullanır. Ubuntu'da bunun yerine
sudo apt install gcckomutunu çalıştırın.sudo yum install gcc -
makefiledosyasını düzenleyin veCC,DATABASE,MACHINEileWORKLOADparametrelerini ayarlayın.vim makefileDüzenleme moduna girmek için
ituşuna basın ve aşağıdaki değerleri ayarlayın:################ ## CHANGE NAME OF ANSI COMPILER HERE ################ CC = gcc # Current values for DATABASE are: INFORMIX, DB2, TDAT (Teradata) # SQLSERVER, SYBASE, ORACLE, VECTORWISE # Current values for MACHINE are: ATT, DOS, HP, IBM, ICL, MVS, # SGI, SUN, U2200, VMS, LINUX, WIN32 # Current values for WORKLOAD are: TPCH DATABASE= MYSQL MACHINE = LINUX WORKLOAD = TPCHKaydetmek ve çıkmak için
Esctuşuna basın,:wqyazın veEntertuşuna basın. -
tpcd.hdosyasını düzenleyin ve MySQL makro tanımlarını ekleyin.vim tpcd.hDüzenleme moduna girmek için
ituşuna basın,database portability definesbölümünü bulun ve aşağıdakileri ekleyin:#ifdef MYSQL #define GEN_QUERY_PLAN "EXPLAIN PLAN" #define START_TRAN "START TRANSACTION" #define END_TRAN "COMMIT" #define SET_OUTPUT "" #define SET_ROWCOUNT "limit %d;\n" #define SET_DBASE "use %s;\n" #endifKaydetmek ve çıkmak için
Esctuşuna basın,:wqyazın veEntertuşuna basın. -
Kaynağı derleyin.
makeDerlemeden sonra dizinde iki yürütülebilir dosya oluşur:
dbgen: test verilerini oluştururqgen: SQL ifadelerini oluşturur (bu testte kullanılmaz; bunun yerine 22 standart TPC-H sorgusu kullanılır)
-
Ölçek Faktörü 100 olacak şekilde test verilerini oluşturun (yaklaşık 100 GB).
-sparametresi, veri kümesi boyutunu kontrol eden Ölçek Faktörünü ayarlar.-s 100yaklaşık 100 GB veri oluşturur. Kesin boyut, tablo yapısına ve veri dağılımına bağlı olarak biraz değişebilir../dbgen -s 100 -
(İsteğe bağlı)
qgenkullanarak sorguları oluşturun.-
qgenvedists.dssdosyalarınıqueriesdizinine kopyalayın.cp qgen queries cp dists.dss queries -
generate_queries.shbetiğini oluşturun.vim generate_queries.shituşuna basın ve şunları ekleyin:#!/usr/bin/bash # Go to the query directory. cd queries # Generate 22 queries. for i in {1..22} do ./qgen -d $i -s 100 > db"$i".sql doneEsctuşuna basın,:wqyazın veEntertuşuna basın. -
Betiği çalıştırılabilir hale getirin ve çalıştırın.
chmod +x generate_queries.sh ./generate_queries.sh
Sonuçların tekrarlanabilir kalması için bu adımı atlayın. 22 standart TPC-H SQL ifadesini buradan indirin ve doğrudan kullanın.
-
Testi çalıştırın
ECS örneğinden PolarDB for MySQL kümesine bağlanın, şemayı başlatın, verileri yükleyin ve 22 TPC-H sorgusunu çalıştırın.
Şemayı ayarlayın ve verileri yükleyin
-
Veri yükleme sırasını tanımlamak amacıyla
dbgendizinindeload.ddldosyasını oluşturun.vim load.ddlituşuna basın ve şunları ekleyin:load data local INFILE 'customer.tbl' INTO TABLE customer FIELDS TERMINATED BY '|'; load data local INFILE 'region.tbl' INTO TABLE region FIELDS TERMINATED BY '|'; load data local INFILE 'nation.tbl' INTO TABLE nation FIELDS TERMINATED BY '|'; load data local INFILE 'supplier.tbl' INTO TABLE supplier FIELDS TERMINATED BY '|'; load data local INFILE 'part.tbl' INTO TABLE part FIELDS TERMINATED BY '|'; load data local INFILE 'partsupp.tbl' INTO TABLE partsupp FIELDS TERMINATED BY '|'; load data local INFILE 'orders.tbl' INTO TABLE orders FIELDS TERMINATED BY '|'; load data local INFILE 'lineitem.tbl' INTO TABLE lineitem FIELDS TERMINATED BY '|';Esctuşuna basın,:wqyazın veEntertuşuna basın. -
Birincil ve yabancı anahtarları tanımlamak için
dss.ridosyasını değiştirin. Orijinal dosyayı yedekleyin ve temizleyin:cp dss.ri dss_bk.ri > dss.ridss.ridosyasını açın ve içeriğini değiştirin:vim dss.riituşuna basın ve şunları ekleyin:use tpch100g; -- ALTER TABLE REGION DROP PRIMARY KEY; -- ALTER TABLE NATION DROP PRIMARY KEY; -- ALTER TABLE PART DROP PRIMARY KEY; -- ALTER TABLE SUPPLIER DROP PRIMARY KEY; -- ALTER TABLE PARTSUPP DROP PRIMARY KEY; -- ALTER TABLE ORDERS DROP PRIMARY KEY; -- ALTER TABLE LINEITEM DROP PRIMARY KEY; -- ALTER TABLE CUSTOMER DROP PRIMARY KEY; -- For table REGION ALTER TABLE REGION ADD PRIMARY KEY (R_REGIONKEY); -- For table NATION ALTER TABLE NATION ADD PRIMARY KEY (N_NATIONKEY); ALTER TABLE NATION ADD FOREIGN KEY NATION_FK1 (N_REGIONKEY) references REGION(R_REGIONKEY); COMMIT WORK; -- For table PART ALTER TABLE PART ADD PRIMARY KEY (P_PARTKEY); COMMIT WORK; -- For table SUPPLIER ALTER TABLE SUPPLIER ADD PRIMARY KEY (S_SUPPKEY); ALTER TABLE SUPPLIER ADD FOREIGN KEY SUPPLIER_FK1 (S_NATIONKEY) references NATION(N_NATIONKEY); COMMIT WORK; -- For table PARTSUPP ALTER TABLE PARTSUPP ADD PRIMARY KEY (PS_PARTKEY,PS_SUPPKEY); COMMIT WORK; -- For table CUSTOMER ALTER TABLE CUSTOMER ADD PRIMARY KEY (C_CUSTKEY); ALTER TABLE CUSTOMER ADD FOREIGN KEY CUSTOMER_FK1 (C_NATIONKEY) references NATION(N_NATIONKEY); COMMIT WORK; -- For table LINEITEM ALTER TABLE LINEITEM ADD PRIMARY KEY (L_ORDERKEY,L_LINENUMBER); COMMIT WORK; -- For table ORDERS ALTER TABLE ORDERS ADD PRIMARY KEY (O_ORDERKEY); COMMIT WORK; -- For table PARTSUPP ALTER TABLE PARTSUPP ADD FOREIGN KEY PARTSUPP_FK1 (PS_SUPPKEY) references SUPPLIER(S_SUPPKEY); COMMIT WORK; ALTER TABLE PARTSUPP ADD FOREIGN KEY PARTSUPP_FK2 (PS_PARTKEY) references PART(P_PARTKEY); COMMIT WORK; -- For table ORDERS ALTER TABLE ORDERS ADD FOREIGN KEY ORDERS_FK1 (O_CUSTKEY) references CUSTOMER(C_CUSTKEY); COMMIT WORK; -- For table LINEITEM ALTER TABLE LINEITEM ADD FOREIGN KEY LINEITEM_FK1 (L_ORDERKEY) references ORDERS(O_ORDERKEY); COMMIT WORK; ALTER TABLE LINEITEM ADD FOREIGN KEY LINEITEM_FK2 (L_PARTKEY,L_SUPPKEY) references PARTSUPP(PS_PARTKEY,PS_SUPPKEY); COMMIT WORK;Esctuşuna basın,:wqyazın veEntertuşuna basın. -
MySQL istemcisini yükleyin.
Bu örnek CentOS kullanır. Komutu işletim sisteminize göre uyarlayın.
sudo yum install mysql -
privileged account ve primary endpoint kullanarak PolarDB for MySQL kümesine bağlanın. Daha fazla bilgi için bkz. Ayrıcalıklı hesap oluşturun ve Veritabanına bağlanın.
Access denied for user 'xxx'@'xxx' (using password: YES)hatasını görürseniz kullanıcı adı veya parola yanlış demektir.mysql -h <primary-endpoint> -P <port> -u <username> -p <password> -
tpch100gveritabanını oluşturun ve buna geçiş yapın.CREATE DATABASE tpch100g; use tpch100g; -
dbgendizinindekidss.ddlşema dosyasını kullanarak tabloları oluşturun.source ./dss.ddl -
adımda oluşturulan
load.ddldosyasını kullanarak verileri yükleyin.source ./load.ddl -
adımda değiştirilen
dss.ridosyasını kullanarak birincil ve yabancı anahtarları uygulayın.source ./dss.ri
Dizinleri oluşturun (isteğe bağlı)
Dizinler, 22 TPC-H sorgusunun bazılarının sorgu performansını artırır. MySQL istemcisinden çıkmak için exit; komutunu çalıştırın, ardından aşağıdaki betiği ECS örneğinde oluşturun ve çalıştırın.
#!/usr/bin/bash
host=$1
port=$2
user=$3
password=$4
db=$5
sqls=("create index i_s_nationkey on supplier (s_nationkey);"
"create index i_ps_partkey on partsupp (ps_partkey);"
"create index i_ps_suppkey on partsupp (ps_suppkey);"
"create index i_c_nationkey on customer (c_nationkey);"
"create index i_o_custkey on orders (o_custkey);"
"create index i_o_orderdate on orders (o_orderdate);"
"create index i_l_orderkey on lineitem (l_orderkey);"
"create index i_l_partkey on lineitem (l_partkey);"
"create index i_l_suppkey on lineitem (l_suppkey);"
"create index i_l_partkey_suppkey on lineitem (l_partkey, l_suppkey);"
"create index i_l_shipdate on lineitem (l_shipdate);"
"create index i_l_commitdate on lineitem (l_commitdate);"
"create index i_l_receiptdate on lineitem (l_receiptdate);"
"create index i_n_regionkey on nation (n_regionkey);"
"analyze table supplier"
"analyze table part"
"analyze table partsupp"
"analyze table customer"
"analyze table orders"
"analyze table lineitem"
"analyze table nation"
"analyze table region")
for sql in "${sqls[@]}"
do
mysql -h$host -P$port -u$user -p$password -D$db -e "$sql"
done
Betiği create_indexes.sh olarak kaydedin, çalıştırılabilir hale getirin ve çalıştırın:
chmod +x create_indexes.sh
./create_indexes.sh <host> <port> <user> <password> <database>
Yer tutucuları küme ayrıntılarınızla değiştirin:
| Yer Tutucu | Açıklama |
|---|---|
<host> |
Kümenin birincil uç noktası |
<port> |
Bağlantı noktası numarası |
<user> |
Veritabanı kullanıcı adı |
<password> |
Veritabanı parolası |
<database> |
Veritabanı adı |
[Warning] Using a password on the command line interface can be insecureuyarısını görürseniz bu beklenen bir durumdur. Komut, parolayı bir komut satırı bağımsız değişkeni olarak iletir; bu da sistemdeki diğer kullanıcılarınpskomutunu çalıştırarak parolayı görüntüleyebilmesine olanak tanır. Uyarı işlemi etkilemez. Testten sonra PolarDB konsolunda veritabanı parolasını değiştirin.
Dizinleri belleğe önceden yükleyin
Paralel sorgunun tam faydasını ölçmek için sorguları çalıştırmadan önce tüm dizinleri arabellek havuzuna önceden yükleyin.
Paralel sorgu, yürütme sırasında arabellek havuzunu bypass eder; bu nedenle ardışık sorgu çalıştırmaları önbelleğe alınmış verilerden faydalanmaz — her çalıştırma tam G/Ç maliyetine neden olur. Bu, test sırasında yüksek okuma G/Ç'si görebileceğiniz anlamına gelir; bu sorun değil, beklenen davranıştır. Dizinlerin önceden yüklenmesi, tüm 22 sorgunun aynı G/Ç temel çizgisinden başlamasını sağlayan tutarlı bir başlangıç durumu oluşturur.
MySQL istemcisinden çıkmak için exit; komutunu çalıştırın, ardından aşağıdaki betiği oluşturun ve çalıştırın:
#!/bin/bash
host=$1
port=$2
user=$3
password=$4
dbname=$5
MYSQL="mysql -h$host -P$port -u$user -p$password -D$dbname"
if [ -z ${dbname} ]; then
echo "dbname not defined."
exit 1
fi
table_indexes=(
"supplier PRIMARY"
"supplier i_s_nationkey"
"part PRIMARY"
"partsupp PRIMARY"
"partsupp i_ps_partkey"
"partsupp i_ps_suppkey"
"customer PRIMARY"
"customer i_c_nationkey"
"orders PRIMARY"
"orders i_o_custkey"
"orders i_o_orderdate"
"lineitem PRIMARY"
"lineitem i_l_orderkey"
"lineitem i_l_partkey"
"lineitem i_l_suppkey"
"lineitem i_l_partkey_suppkey"
"lineitem i_l_shipdate"
"lineitem i_l_commitdate"
"lineitem i_l_receiptdate"
"nation i_n_regionkey"
"nation PRIMARY"
"region PRIMARY"
)
for table_index in "${table_indexes[@]}"
do
ti=($table_index)
table=${ti[0]}
index=${ti[1]}
SQL="select count(*) from ${table} force index(${index})"
echo "$MYSQL -e '$SQL'"
$MYSQL -e "$SQL"
done
22 TPC-H sorgusunu çalıştırın
MySQL istemcisinden çıkmak için exit; komutunu çalıştırın, ardından aşağıdaki betiği dbgen dizininden oluşturun ve çalıştırın:
#!/usr/bin/env bash
host=$1
port=$2
user=$3
password=$4
database=$5
resfile=$6
echo "start test run at"`date "+%Y-%m-%d %H:%M:%S"`|tee -a ${resfile}.out
for (( i=1; i<=22;i=i+1 ))
do
queryfile="./queries/Q"${i}".sql"
start_time=`date "+%s.%N"`
echo "run query ${i}"|tee -a ${resfile}.out
mysql -h ${host} -P${port} -u${user} -p${password} $database -e" source $queryfile;" |tee -a ${resfile}.out
end_time=`date "+%s.%N"`
start_s=${start_time%.*}
start_nanos=${start_time#*.}
end_s=${end_time%.*}
end_nanos=${end_time#*.}
if [ "$end_nanos" -lt "$start_nanos" ];then
end_s=$(( 10#$end_s -1 ))
end_nanos=$(( 10#$end_nanos + 10 ** 9))
fi
time=$(( 10#$end_s - 10#$start_s )).`printf "%03d\n" $(( (10#$end_nanos - 10#$start_nanos)/10**6 ))`
echo ${queryfile} "the "${j}" run cost "${time}" second start at"`date -d @$start_time "+%Y-%m-%d %H:%M:%S"`" stop at"`date -d @$end_time "+%Y-%m-%d %H:%M:%S"` >> ${resfile}.time
done
Betiği run_queries.sh olarak kaydedin, çalıştırılabilir hale getirin ve çalıştırın:
chmod +x run_queries.sh
./run_queries.sh <host> <port> <user> <password> <database> <resfile>
Yer tutucuları küme ayrıntılarınızla değiştirin:
| Yer Tutucu | Açıklama |
|---|---|
<host> |
Kümenin birincil uç noktası |
<port> |
Bağlantı noktası numarası |
<user> |
Veritabanı kullanıcı adı |
<password> |
Veritabanı parolası |
<database> |
Veritabanı adı |
<resfile> |
Çıktı sonuçları dosyasının adı |
Betiği çalıştırmadan önce aşağıdakileri onaylayın:
Betiğin çalıştırma izni vardır (
chmod +x run_queries.sh).Geçerli dizin
dbgendizinidir. Betik./queries/Q${i}.sqlyoluna başvurur. Farklı bir dizinden çalıştırırsanızqueryfileyolunu buna göre güncelleyin. Yanlış bir yolERROR at line 1: Failed to open file 'QXX.sql'hatasına neden olur.22 TPC-H sorgu dosyası
dbgen/queriesdizininde bulunur. Henüz indirmemişseniz bunları buradan indirin.
[Warning] Using a password on the command line interface can be insecure uyarısını görürseniz bu beklenen bir durumdur. Yukarıdaki dizin oluşturma bölümündeki notu inceleyin.
Sonuçlar
Tam kıyaslama sonuçları için bkz. Paralel sorgu performansı.