Tüm Ürünler
Search
Belge Merkezi

PolarDB:Performance test for parallel queries

Son Güncelleme:Oct 07, 2026

Bu konu, OLAP paralel sorgu performansını ölçmek amacıyla PolarDB for MySQL 8.0 Cluster Edition kümesinde TPC-H kıyaslamasının nasıl çalıştırılacağını açıklar.

TPC-H, paralel sorgunun hızlandırmak üzere tasarlandığı sorgu kalıplarına odaklanır: büyük veri kümeleri üzerinde çok tablolu JOIN'ler, alt sorgular ve GROUP BY toplamları. Bu 22 sorguyu paralel sorgu etkinken ve etkisizken çalıştırmak, kendi ortamınızdaki performans kazançlarını değerlendirmek için tekrarlanabilir bir temel sağlar.

Test ortamı

ECS örneği ve PolarDB for MySQL kümesi aynı bölge, alan ve VPC içinde dağıtılır.

PolarDB for MySQL kümesi

Parametre Değer
Küme sayısı 1
Veritabanı motoru MySQL 8.0.1 veya MySQL 8.0.2
Ürün sürümü Enterprise Edition
Sürüm Cluster Edition
Teknik özellikler türü Özel
Düğüm teknik özellikleri polar.mysql.x8,4xlarge (32 çekirdek, 256 GB)
Düğüm sayısı 2 (1 birincil düğüm, 1 salt okunur düğüm)
Test, kümeye bağlanmak için birincil uç noktayı kullanır. Daha fazla bilgi için bkz. Bir kümenin uç noktalarını yönetin .

ECS örneği

Parametre Değer
Örnek türü ecs.c5.4xlarge (16 vCPU, 32 GiB)
Görüntü CentOS 7.0 64-bit
Sistem diski ESSD, 1000 GB

Test aracı

TPC-H, veritabanı analitik sorgu performansını değerlendirmek amacıyla Transaction Processing Performance Council (TPC) tarafından geliştirilen bir kıyaslama aracıdır. 8 tablo ve %22 karmaşık SQL ifadesi içerir. Çoğu sorgu, paralel çalıştırmadan en çok faydalanan iş yükü kalıpları olan çok tablolu JOIN'leri, alt sorguları ve GROUP BY yan tümcelerini birleştirir.

Bu test TPC-H kıyaslamasına dayanır ancak tüm TPC-H gereksinimlerini karşılamaz. Sonuçlar, yayımlanmış TPC-H kıyaslama sonuçlarıyla karşılaştırılamaz.

TPC-H araçlarını yükleyin

Önemli
  • Aşağıdaki komutları çalıştırmadan önce ECS örneğine root kullanıcısı olarak giriş yapın.

  • Bu konuda TPC-H_Tools_v2.18.0 kullanılmaktadır. İndirmeden önce kayıt olmanız gerekir.

  1. TPC-H paketini kaydedip indirin ve ardından ECS örneğine yükleyin. Daha fazla bilgi için bkz. Dosyaları yükleyin.

  2. Paketi sıkıştırmadan çıkarın. TPC-H-Tool.zip yerine gerçek dosya adını yazın.

    unzip TPC-H-Tool.zip
  3. dbgen dizinine gidin. TPC-H-Tool/dbgen yerine gerçek yolu yazın.

    cd TPC-H-Tool/dbgen
  4. makefile.suite dosyasını makefile olarak kopyalayın.

    cp makefile.suite makefile
  5. GCC'yi yükleyin.

    Bu örnek CentOS kullanır. Ubuntu'da bunun yerine sudo apt install gcc komutunu çalıştırın.
    sudo yum install gcc
  6. makefile dosyasını düzenleyin ve CC, DATABASE, MACHINE ile WORKLOAD parametrelerini ayarlayın.

    vim makefile

    Düzenleme moduna girmek için i tuşuna basın ve aşağıdaki değerleri ayarlayın:

    ################
    ## CHANGE NAME OF ANSI COMPILER HERE
    ################
    CC      = gcc
    # Current values for DATABASE are: INFORMIX, DB2, TDAT (Teradata)
    #                                  SQLSERVER, SYBASE, ORACLE, VECTORWISE
    # Current values for MACHINE are:  ATT, DOS, HP, IBM, ICL, MVS,
    #                                  SGI, SUN, U2200, VMS, LINUX, WIN32
    # Current values for WORKLOAD are:  TPCH
    DATABASE= MYSQL
    MACHINE = LINUX
    WORKLOAD = TPCH

    Kaydetmek ve çıkmak için Esc tuşuna basın, :wq yazın ve Enter tuşuna basın.

  7. tpcd.h dosyasını düzenleyin ve MySQL makro tanımlarını ekleyin.

    vim tpcd.h

    Düzenleme moduna girmek için i tuşuna basın, database portability defines bölümünü bulun ve aşağıdakileri ekleyin:

    #ifdef MYSQL
    #define GEN_QUERY_PLAN "EXPLAIN PLAN"
    #define START_TRAN "START TRANSACTION"
    #define END_TRAN "COMMIT"
    #define SET_OUTPUT ""
    #define SET_ROWCOUNT "limit %d;\n"
    #define SET_DBASE "use %s;\n"
    #endif

    Kaydetmek ve çıkmak için Esc tuşuna basın, :wq yazın ve Enter tuşuna basın.

  8. Kaynağı derleyin.

    make

    Derlemeden sonra dizinde iki yürütülebilir dosya oluşur:

    • dbgen: test verilerini oluşturur

    • qgen: SQL ifadelerini oluşturur (bu testte kullanılmaz; bunun yerine 22 standart TPC-H sorgusu kullanılır)

  9. Ölçek Faktörü 100 olacak şekilde test verilerini oluşturun (yaklaşık 100 GB).

    -s parametresi, veri kümesi boyutunu kontrol eden Ölçek Faktörünü ayarlar. -s 100 yaklaşık 100 GB veri oluşturur. Kesin boyut, tablo yapısına ve veri dağılımına bağlı olarak biraz değişebilir.
    ./dbgen -s 100
  10. (İsteğe bağlı) qgen kullanarak sorguları oluşturun.

    1. qgen ve dists.dss dosyalarını queries dizinine kopyalayın.

      cp qgen queries
      cp dists.dss queries
    2. generate_queries.sh betiğini oluşturun.

      vim generate_queries.sh

      i tuşuna basın ve şunları ekleyin:

      #!/usr/bin/bash
      
      # Go to the query directory.
      cd queries
      
      # Generate 22 queries.
      for i in {1..22}
      do
        ./qgen -d $i -s 100 > db"$i".sql
      done

      Esc tuşuna basın, :wq yazın ve Enter tuşuna basın.

    3. Betiği çalıştırılabilir hale getirin ve çalıştırın.

      chmod +x generate_queries.sh
      ./generate_queries.sh
    Sonuçların tekrarlanabilir kalması için bu adımı atlayın. 22 standart TPC-H SQL ifadesini buradan indirin ve doğrudan kullanın.

Testi çalıştırın

ECS örneğinden PolarDB for MySQL kümesine bağlanın, şemayı başlatın, verileri yükleyin ve 22 TPC-H sorgusunu çalıştırın.

Şemayı ayarlayın ve verileri yükleyin

  1. Veri yükleme sırasını tanımlamak amacıyla dbgen dizininde load.ddl dosyasını oluşturun.

    vim load.ddl

    i tuşuna basın ve şunları ekleyin:

    load data local INFILE 'customer.tbl' INTO TABLE customer FIELDS TERMINATED BY '|';
    load data local INFILE 'region.tbl' INTO TABLE region FIELDS TERMINATED BY '|';
    load data local INFILE 'nation.tbl' INTO TABLE nation FIELDS TERMINATED BY '|';
    load data local INFILE 'supplier.tbl' INTO TABLE supplier FIELDS TERMINATED BY '|';
    load data local INFILE 'part.tbl' INTO TABLE part FIELDS TERMINATED BY '|';
    load data local INFILE 'partsupp.tbl' INTO TABLE partsupp FIELDS TERMINATED BY '|';
    load data local INFILE 'orders.tbl' INTO TABLE orders FIELDS TERMINATED BY '|';
    load data local INFILE 'lineitem.tbl' INTO TABLE lineitem FIELDS TERMINATED BY '|';

    Esc tuşuna basın, :wq yazın ve Enter tuşuna basın.

  2. Birincil ve yabancı anahtarları tanımlamak için dss.ri dosyasını değiştirin. Orijinal dosyayı yedekleyin ve temizleyin:

    cp dss.ri dss_bk.ri
    > dss.ri

    dss.ri dosyasını açın ve içeriğini değiştirin:

    vim dss.ri

    i tuşuna basın ve şunları ekleyin:

    use tpch100g;
    -- ALTER TABLE REGION DROP PRIMARY KEY;
    -- ALTER TABLE NATION DROP PRIMARY KEY;
    -- ALTER TABLE PART DROP PRIMARY KEY;
    -- ALTER TABLE SUPPLIER DROP PRIMARY KEY;
    -- ALTER TABLE PARTSUPP DROP PRIMARY KEY;
    -- ALTER TABLE ORDERS DROP PRIMARY KEY;
    -- ALTER TABLE LINEITEM DROP PRIMARY KEY;
    -- ALTER TABLE CUSTOMER DROP PRIMARY KEY;
    -- For table REGION
    ALTER TABLE REGION
    ADD PRIMARY KEY (R_REGIONKEY);
    -- For table NATION
    ALTER TABLE NATION
    ADD PRIMARY KEY (N_NATIONKEY);
    ALTER TABLE NATION
    ADD FOREIGN KEY NATION_FK1 (N_REGIONKEY) references REGION(R_REGIONKEY);
    COMMIT WORK;
    -- For table PART
    ALTER TABLE PART
    ADD PRIMARY KEY (P_PARTKEY);
    COMMIT WORK;
    -- For table SUPPLIER
    ALTER TABLE SUPPLIER
    ADD PRIMARY KEY (S_SUPPKEY);
    ALTER TABLE SUPPLIER
    ADD FOREIGN KEY SUPPLIER_FK1 (S_NATIONKEY) references NATION(N_NATIONKEY);
    COMMIT WORK;
    -- For table PARTSUPP
    ALTER TABLE PARTSUPP
    ADD PRIMARY KEY (PS_PARTKEY,PS_SUPPKEY);
    COMMIT WORK;
    -- For table CUSTOMER
    ALTER TABLE CUSTOMER
    ADD PRIMARY KEY (C_CUSTKEY);
    ALTER TABLE CUSTOMER
    ADD FOREIGN KEY CUSTOMER_FK1 (C_NATIONKEY) references NATION(N_NATIONKEY);
    COMMIT WORK;
    -- For table LINEITEM
    ALTER TABLE LINEITEM
    ADD PRIMARY KEY (L_ORDERKEY,L_LINENUMBER);
    COMMIT WORK;
    -- For table ORDERS
    ALTER TABLE ORDERS
    ADD PRIMARY KEY (O_ORDERKEY);
    COMMIT WORK;
    -- For table PARTSUPP
    ALTER TABLE PARTSUPP
    ADD FOREIGN KEY PARTSUPP_FK1 (PS_SUPPKEY) references SUPPLIER(S_SUPPKEY);
    COMMIT WORK;
    ALTER TABLE PARTSUPP
    ADD FOREIGN KEY PARTSUPP_FK2 (PS_PARTKEY) references PART(P_PARTKEY);
    COMMIT WORK;
    -- For table ORDERS
    ALTER TABLE ORDERS
    ADD FOREIGN KEY ORDERS_FK1 (O_CUSTKEY) references CUSTOMER(C_CUSTKEY);
    COMMIT WORK;
    -- For table LINEITEM
    ALTER TABLE LINEITEM
    ADD FOREIGN KEY LINEITEM_FK1 (L_ORDERKEY)  references ORDERS(O_ORDERKEY);
    COMMIT WORK;
    ALTER TABLE LINEITEM
    ADD FOREIGN KEY LINEITEM_FK2 (L_PARTKEY,L_SUPPKEY) references
            PARTSUPP(PS_PARTKEY,PS_SUPPKEY);
    COMMIT WORK;

    Esc tuşuna basın, :wq yazın ve Enter tuşuna basın.

  3. MySQL istemcisini yükleyin.

    Bu örnek CentOS kullanır. Komutu işletim sisteminize göre uyarlayın.
    sudo yum install mysql
  4. privileged account ve primary endpoint kullanarak PolarDB for MySQL kümesine bağlanın. Daha fazla bilgi için bkz. Ayrıcalıklı hesap oluşturun ve Veritabanına bağlanın.

    Access denied for user 'xxx'@'xxx' (using password: YES) hatasını görürseniz kullanıcı adı veya parola yanlış demektir.
    mysql -h <primary-endpoint> -P <port> -u <username> -p <password>
  5. tpch100g veritabanını oluşturun ve buna geçiş yapın.

    CREATE DATABASE tpch100g;
    use tpch100g;
  6. dbgen dizinindeki dss.ddl şema dosyasını kullanarak tabloları oluşturun.

    source ./dss.ddl
  7. adımda oluşturulan load.ddl dosyasını kullanarak verileri yükleyin.

    source ./load.ddl
  8. adımda değiştirilen dss.ri dosyasını kullanarak birincil ve yabancı anahtarları uygulayın.

    source ./dss.ri

Dizinleri oluşturun (isteğe bağlı)

Dizinler, 22 TPC-H sorgusunun bazılarının sorgu performansını artırır. MySQL istemcisinden çıkmak için exit; komutunu çalıştırın, ardından aşağıdaki betiği ECS örneğinde oluşturun ve çalıştırın.

#!/usr/bin/bash
host=$1
port=$2
user=$3
password=$4
db=$5
sqls=("create index i_s_nationkey on supplier (s_nationkey);"
"create index i_ps_partkey on partsupp (ps_partkey);"
"create index i_ps_suppkey on partsupp (ps_suppkey);"
"create index i_c_nationkey on customer (c_nationkey);"
"create index i_o_custkey on orders (o_custkey);"
"create index i_o_orderdate on orders (o_orderdate);"
"create index i_l_orderkey on lineitem (l_orderkey);"
"create index i_l_partkey on lineitem (l_partkey);"
"create index i_l_suppkey on lineitem (l_suppkey);"
"create index i_l_partkey_suppkey on lineitem (l_partkey, l_suppkey);"
"create index i_l_shipdate on lineitem (l_shipdate);"
"create index i_l_commitdate on lineitem (l_commitdate);"
"create index i_l_receiptdate on lineitem (l_receiptdate);"
"create index i_n_regionkey on nation (n_regionkey);"
"analyze table supplier"
"analyze table part"
"analyze table partsupp"
"analyze table customer"
"analyze table orders"
"analyze table lineitem"
"analyze table nation"
"analyze table region")
for sql in "${sqls[@]}"
do
    mysql -h$host -P$port -u$user -p$password -D$db  -e "$sql"
done

Betiği create_indexes.sh olarak kaydedin, çalıştırılabilir hale getirin ve çalıştırın:

chmod +x create_indexes.sh
./create_indexes.sh <host> <port> <user> <password> <database>

Yer tutucuları küme ayrıntılarınızla değiştirin:

Yer Tutucu Açıklama
<host> Kümenin birincil uç noktası
<port> Bağlantı noktası numarası
<user> Veritabanı kullanıcı adı
<password> Veritabanı parolası
<database> Veritabanı adı
[Warning] Using a password on the command line interface can be insecure uyarısını görürseniz bu beklenen bir durumdur. Komut, parolayı bir komut satırı bağımsız değişkeni olarak iletir; bu da sistemdeki diğer kullanıcıların ps komutunu çalıştırarak parolayı görüntüleyebilmesine olanak tanır. Uyarı işlemi etkilemez. Testten sonra PolarDB konsolunda veritabanı parolasını değiştirin.

Dizinleri belleğe önceden yükleyin

Paralel sorgunun tam faydasını ölçmek için sorguları çalıştırmadan önce tüm dizinleri arabellek havuzuna önceden yükleyin.

Paralel sorgu, yürütme sırasında arabellek havuzunu bypass eder; bu nedenle ardışık sorgu çalıştırmaları önbelleğe alınmış verilerden faydalanmaz — her çalıştırma tam G/Ç maliyetine neden olur. Bu, test sırasında yüksek okuma G/Ç'si görebileceğiniz anlamına gelir; bu sorun değil, beklenen davranıştır. Dizinlerin önceden yüklenmesi, tüm 22 sorgunun aynı G/Ç temel çizgisinden başlamasını sağlayan tutarlı bir başlangıç durumu oluşturur.

MySQL istemcisinden çıkmak için exit; komutunu çalıştırın, ardından aşağıdaki betiği oluşturun ve çalıştırın:

#!/bin/bash
host=$1
port=$2
user=$3
password=$4
dbname=$5
MYSQL="mysql -h$host -P$port -u$user -p$password -D$dbname"
if [ -z ${dbname} ]; then
    echo "dbname not defined."
    exit 1
fi
table_indexes=(
        "supplier PRIMARY"
        "supplier i_s_nationkey"
        "part PRIMARY"
        "partsupp PRIMARY"
        "partsupp i_ps_partkey"
        "partsupp i_ps_suppkey"
        "customer PRIMARY"
        "customer i_c_nationkey"
        "orders PRIMARY"
        "orders i_o_custkey"
        "orders i_o_orderdate"
        "lineitem PRIMARY"
        "lineitem i_l_orderkey"
        "lineitem i_l_partkey"
        "lineitem i_l_suppkey"
        "lineitem i_l_partkey_suppkey"
        "lineitem i_l_shipdate"
        "lineitem i_l_commitdate"
        "lineitem i_l_receiptdate"
        "nation i_n_regionkey"
        "nation PRIMARY"
        "region PRIMARY"
)
for table_index in "${table_indexes[@]}"
do
    ti=($table_index)
    table=${ti[0]}
    index=${ti[1]}
    SQL="select count(*) from ${table} force index(${index})"
    echo "$MYSQL -e '$SQL'"
    $MYSQL -e "$SQL"
done

22 TPC-H sorgusunu çalıştırın

MySQL istemcisinden çıkmak için exit; komutunu çalıştırın, ardından aşağıdaki betiği dbgen dizininden oluşturun ve çalıştırın:

#!/usr/bin/env bash
host=$1
port=$2
user=$3
password=$4
database=$5
resfile=$6
echo "start test run at"`date "+%Y-%m-%d %H:%M:%S"`|tee -a ${resfile}.out
for (( i=1; i<=22;i=i+1 ))
do
queryfile="./queries/Q"${i}".sql"
start_time=`date "+%s.%N"`
echo "run query ${i}"|tee -a ${resfile}.out
mysql -h ${host}  -P${port} -u${user} -p${password} $database -e" source $queryfile;" |tee -a ${resfile}.out
end_time=`date "+%s.%N"`
start_s=${start_time%.*}
start_nanos=${start_time#*.}
end_s=${end_time%.*}
end_nanos=${end_time#*.}
if [ "$end_nanos" -lt "$start_nanos" ];then
        end_s=$(( 10#$end_s -1 ))
        end_nanos=$(( 10#$end_nanos + 10 ** 9))
fi
time=$(( 10#$end_s - 10#$start_s )).`printf "%03d\n" $(( (10#$end_nanos - 10#$start_nanos)/10**6 ))`
echo ${queryfile} "the "${j}" run cost "${time}" second start at"`date -d @$start_time "+%Y-%m-%d %H:%M:%S"`" stop at"`date -d @$end_time "+%Y-%m-%d %H:%M:%S"` >> ${resfile}.time
done

Betiği run_queries.sh olarak kaydedin, çalıştırılabilir hale getirin ve çalıştırın:

chmod +x run_queries.sh
./run_queries.sh <host> <port> <user> <password> <database> <resfile>

Yer tutucuları küme ayrıntılarınızla değiştirin:

Yer Tutucu Açıklama
<host> Kümenin birincil uç noktası
<port> Bağlantı noktası numarası
<user> Veritabanı kullanıcı adı
<password> Veritabanı parolası
<database> Veritabanı adı
<resfile> Çıktı sonuçları dosyasının adı

Betiği çalıştırmadan önce aşağıdakileri onaylayın:

  • Betiğin çalıştırma izni vardır (chmod +x run_queries.sh).

  • Geçerli dizin dbgen dizinidir. Betik ./queries/Q${i}.sql yoluna başvurur. Farklı bir dizinden çalıştırırsanız queryfile yolunu buna göre güncelleyin. Yanlış bir yol ERROR at line 1: Failed to open file 'QXX.sql' hatasına neden olur.

  • 22 TPC-H sorgu dosyası dbgen/queries dizininde bulunur. Henüz indirmemişseniz bunları buradan indirin.

[Warning] Using a password on the command line interface can be insecure uyarısını görürseniz bu beklenen bir durumdur. Yukarıdaki dizin oluşturma bölümündeki notu inceleyin.

Sonuçlar

Tam kıyaslama sonuçları için bkz. Paralel sorgu performansı.