:パフォーマンスホワイトペーパー

テスト環境

• すべてのテストは IP アドレスとポートを使ってローカルで完了する必要があります。
• ECS インスタンスタイプ：ecs.g5.16xlarge (64 コア、256 GiB)
• ネットワークタイプ：VPC
• オペレーティングシステム：64 ビット CentOS 7.6
  注 CentOS 6 は PostgreSQL 11 をサポートしていません。

テスト指標

• 1 秒あたりの読み取り専用クエリ (QPS)

  読み取り専用操作がデータベース上で実行されたときの、1 秒あたりの SELECT 文の実行数

• 読み取り/書き込み QPS

  読み取り/書き込み操作がデータベース上で実行されたときの、1 秒あたりのINSERT、SELECT、UPDATE 文の実行数

前提条件

• PostgreSQL 11 をインストール
  次のコマンドを実行して、PostgreSQL 11を ECS インスタンスにインストールします。

  yum install -y https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
  yum install -y https://download.postgresql.org/pub/repos/yum/11/redhat/rhel-7-x86_64/pgdg-centos11-11-2.noarch.rpm
  yum install -y postgresql11*
  su - postgres
  vi .bash_profile
  export PS1="$USER@`/bin/hostname -s`-> "    
  export LANG=en_US.utf8    
  export PGHOME=/usr/pgsql-11  
  export LD_LIBRARY_PATH=$PGHOME/lib:/lib64:/usr/lib64:/usr/local/lib64:/lib:/usr/lib:/usr/local/lib:$LD_LIBRARY_PATH    
  export DATE=`date +"%Y%m%d%H%M"`  
  export PATH=$PGHOME/bin:$PATH:.    
  export MANPATH=$PGHOME/share/man:$MANPATH    
  alias rm='rm -i'    
  alias ll='ls -lh'    
  unalias vi

• PolarDB PostgreSQL クラスターのパラメーターを変更
  一部のパラメーターはコンソールでは変更できないため、チケットを送信して、クラスターの YAML 設定ファイルを変更する必要があります。 設定項目は次のとおりです。

  default_statistics_target: "100"
  max_wal_size: "64GB" #half mem size
  effective_cache_size: "96GB" #3/4 mem size
  max_parallel_workers_per_gather: "16" #half cpu core number 
  maintenance_work_mem: "2GB" #1/32 mem, don't exceed 8GB
  checkpoint_completion_target: "0.9"
  max_parallel_workers: "32" #cpu core number,don't exceed 64
  max_prepared_transactions: "2100"
  archive_mode: "off"
  work_mem: "64MB" #mem 1/2000,don't exceed 128MB
  wal_buffers: "16MB"
  min_wal_size: "64GB" #1/4 mem size, min size 3GB (3 wal files, 2 as preallocated)
  shared_buffers: "192GB" #75% mem size 8GB
  max_connections: "12900"
  polar_bulk_extend_size: "4MB"
  polar_xlog_record_buffers: "25GB" #10~15% mem size,min size 1GB
  hot_standby_feedback: "on"
  full_page_writes: "off"
  synchronous_commit: "on"
  polar_enable_async_pwrite: "off"
  polar_parallel_bgwriter_delay: "10ms"
  polar_max_non_super_conns: '12800'
  polar_parallel_new_bgwriter_threshold_lag: "6GB"
  polar_use_statistical_relpages: "on"
  polar_vfs.enable_file_size_cache: "on"

  注 前述のコードスニペットは、32 コア 256 GB polar.pg.x8.4xlarge クラスターの設定ファイルの変更を行う例として使用されています。 PolarDB PostgreSQL クラスターとApsaraDB RDS for PostgreSQL クラスターのメモリサイズを同じに設定し、パフォーマンスを比較します。

  設定を変更した後、PolarDB PostgreSQL クラスターを再起動して、設定を有効にします。

テスト手順

1. 次のコマンドを実行して、ターゲットデータベースのサイズに基づいてテストデータを初期化します。
   • 50 億件のデータレコードの初期化: pgbench -i -s 50000
   • 10 億件のデータレコードの初期化: pgbench -i -s 10000
   • 5 億件のデータレコードの初期化: pgbench -i -s 5000
   • 1 億件のデータレコードの初期化: pgbench -i -s 1000
2. 次のコマンドを実行して、環境変数を設定します。

   export PGHOST=<Private endpoint of the primary node of the PolarDB PostgreSQL cluster>
   export PGPORT=<Private port of the primary node of the PolarDB PostgreSQL cluster>
   export PGDATABASE=postgres
   export PGUSER=<Username to log on to the PolarDB PostgreSQL database>
   export PGPASSWORD=<User password to log on to the PolarDB PostgreSQL database>

3. テストスクリプトを作成し、読み取り専用操作と読み取り/書き込み操作を実行します。
   • 次のコードを含むスクリプト ro.sql を作成し、読み取り専用操作を実行します。

     \set aid random_gaussian(1, :range, 10.0)
     SELECT abalance FROM pgbench_accounts WHERE aid = :aid;

   • 次のコードを含むスクリプト rw.sql を作成し、読み取り/書き込み操作を実行します。

     \set aid random_gaussian(1, :range, 10.0)  
     \set bid random(1, 1 * :scale)  
     \set tid random(1, 10 * :scale)  
     \set delta random(-5000, 5000)  
     BEGIN;  
     UPDATE pgbench_accounts SET abalance = abalance + :delta WHERE aid = :aid;  
     SELECT abalance FROM pgbench_accounts WHERE aid = :aid;  
     UPDATE pgbench_tellers SET tbalance = tbalance + :delta WHERE tid = :tid;  
     UPDATE pgbench_branches SET bbalance = bbalance + :delta WHERE bid = :bid;  
     INSERT INTO pgbench_history (tid, bid, aid, delta, mtime) VALUES (:tid, :bid, :aid, :delta, CURRENT_TIMESTAMP);  
     END;

4. 次のコマンドを実行してテストを行います。
   • 読み取り専用操作を実行します。

     polar.o.x8.4xlarge, the total number of data records is 1 billion, the number of hot data records is 100 million.
     pgbench -M prepared -v -r -P 1 -f ./ro.sql -c 128 -j 128 -T 120 -D scale=10000 -D range=100000000
     polar.o.x8.4xlarge, the total number of data records is 1 billion, the number of hot data records is 500 million.
     pgbench -M prepared -n -r -P 1 -f ./ro.sql -c 128 -j 128 -T 120 -D scale=10000 -D range=500000000
     polar.o.x8.4xlarge, the total number of data records is 1 billion, the number of hot data records is 1 billion.
     pgbench -M prepared -n -r -P 1 -f ./ro.sql -c 128 -j 128 -T 120 -D scale=10000 -D range=1000000000
     polar.o.x8.2xlarge, the total number of data records is 1 billion, the number of hot data records is 100 million.
     pgbench -M prepared -v -r -P 1 -f ./ro.sql -c 64 -j 64 -T 120 -D scale=10000 -D range=100000000
     polar.o.x8.2xlarge, the total number of data records is 1 billion, the number of hot data records is 500 million.
     pgbench -M prepared -n -r -P 1 -f ./ro.sql -c 64 -j 64 -T 120 -D scale=10000 -D range=500000000
     polar.o.x8.2xlarge, the total number of data records is 1 billion, the number of hot data records is 1 billion.
     pgbench -M prepared -n -r -P 1 -f ./ro.sql -c 64 -j 64 -T 120 -D scale=10000 -D range=1000000000
     polar.o.x4.xlarge, the total number of data records is 1 billion, the number of hot data records is 100 million.
     pgbench -M prepared -v -r -P 1 -f ./ro.sql -c 32 -j 32 -T 120 -D scale=10000 -D range=100000000
     polar.o.x4.xlarge, the total number of data records is 1 billion, the number of hot data records is 500 million.
     pgbench -M prepared -n -r -P 1 -f ./ro.sql -c 32 -j 32 -T 120 -D scale=10000 -D range=500000000
     polar.o.x4.xlarge, the total number of data records is 1 billion, the number of hot data records is 1 billion.
     pgbench -M prepared -n -r -P 1 -f ./ro.sql -c 32 -j 32 -T 120 -D scale=10000 -D range=1000000000
     polar.o.x4.large, the total number of data records is 500 million, the number of hot data records is 100 million.
     pgbench -M prepared -v -r -P 1 -f ./ro.sql -c 16 -j 16 -T 120 -D scale=5000 -D range=100000000
     polar.o.x4.large, the total number of data records is 500 million, the number of hot data records is 500 million.
     pgbench -M prepared -n -r -P 1 -f ./ro.sql -c 16 -j 16 -T 120 -D scale=5000 -D range=500000000
     polar.o.x4.medium, the total number of data records is 100 million, the number of hot data records is 50 million.
     pgbench -M prepared -v -r -P 1 -f ./ro.sql -c 8 -j 8 -T 120 -D scale=1000 -D range=50000000
     polar.o.x4.medium, the total number of data records is 100 million, the number of hot data records is 100 million.
     pgbench -M prepared -n -r -P 1 -f ./ro.sql -c 8 -j 8 -T 120 -D scale=1000 -D range=100000000

   • 読み取り、書き込み操作を実行します。

     polar.o.x8.4xlarge, the total number of data records is 1 billion, the number of hot data records is 100 million.
     pgbench -M prepared -v -r -P 1 -f ./rw.sql -c 128 -j 128 -T 120 -D scale=10000 -D range=100000000
     polar.o.x8.4xlarge, the total number of data records is 1 billion, the number of hot data records is 500 million.
     pgbench -M prepared -n -r -P 1 -f ./rw.sql -c 128 -j 128 -T 120 -D scale=10000 -D range=500000000
     polar.o.x8.4xlarge, the total number of data records is 1 billion, the number of hot data records is 1 billion.
     pgbench -M prepared -n -r -P 1 -f ./rw.sql -c 128 -j 128 -T 120 -D scale=10000 -D range=1000000000
     polar.o.x8.2xlarge, the total number of data records is 1 billion, the number of hot data records is 100 million.
     pgbench -M prepared -v -r -P 1 -f ./rw.sql -c 64 -j 64 -T 120 -D scale=10000 -D range=100000000
     polar.o.x8.2xlarge, the total number of data records is 1 billion, the number of hot data records is 500 million.
     pgbench -M prepared -n -r -P 1 -f ./rw.sql -c 64 -j 64 -T 120 -D scale=10000 -D range=500000000
     polar.o.x8.2xlarge, the total number of data records is 1 billion, the number of hot data records is 1 billion.
     pgbench -M prepared -n -r -P 1 -f ./rw.sql -c 64 -j 64 -T 120 -D scale=10000 -D range=1000000000
     polar.o.x4.xlarge, the total number of data records is 1 billion, the number of hot data records is 100 million.
     pgbench -M prepared -v -r -P 1 -f ./rw.sql -c 32 -j 32 -T 120 -D scale=10000 -D range=100000000
     polar.o.x4.xlarge, the total number of data records is 1 billion, the number of hot data records is 500 million.
     pgbench -M prepared -n -r -P 1 -f ./rw.sql -c 32 -j 32 -T 120 -D scale=10000 -D range=500000000
     polar.o.x4.xlarge, the total number of data records is 1 billion, the number of hot data records is 1 billion.
     pgbench -M prepared -n -r -P 1 -f ./rw.sql -c 32 -j 32 -T 120 -D scale=10000 -D range=1000000000
     polar.o.x4.large, the total number of data records is 500 million, the number of hot data records is 100 million.
     pgbench -M prepared -v -r -P 1 -f ./rw.sql -c 16 -j 16 -T 120 -D scale=5000 -D range=100000000
     polar.o.x4.large, the total number of data records is 500 million, the number of hot data records is 500 million.
     pgbench -M prepared -n -r -P 1 -f ./rw.sql -c 16 -j 16 -T 120 -D scale=5000 -D range=500000000
     polar.o.x4.medium, the total number of data records is 100 million, the number of hot data records is 50 million.
     pgbench -M prepared -v -r -P 1 -f ./rw.sql -c 8 -j 8 -T 120 -D scale=1000 -D range=50000000
     polar.o.x4.medium, the total number of data records is 100 million, the number of hot data records is 100 million.
     pgbench -M prepared -n -r -P 1 -f ./rw.sql -c 8 -j 8 -T 120 -D scale=1000 -D range=100000000

   注

   • scale に 100,000 をかけた値は、テストデータレコードの数です。
   • Range は、ホットデータレコードの数です。
   • -c は、テストの接続数です。 この数は、このタイプのクラスターがサポートする最大接続数ではありません。 詳細については、「仕様と料金」をご参照ください。

それぞれのタイプのテスト結果

ApsaraDB RDS for PostgreSQL との比較