云原生数据库 PolarDB：Sysbench测试

背景信息

Sysbench是一款开源的、模块化的、跨平台的多线程性能测试工具，可以执行数据库在CPU、内存、线程、IO等方面的性能测试。本文将验证PolarDB-X在Sysbench多种场景中的性能表现。

测试设计

• 测试数据量

  Sysbench数据包含16张表，每张表1千万的数据量。

• 测试所用实例规格

  节点规格	节点数
  4C32G	2
  4C32G	4
  8C64G	2
  8C64G	4

• 测试所用压力机规格

  ecs.g7ne.8xlarge（32 vCPU，128 GB内存）

测试方法

1. 准备压力机ECS

   需准备一个ECS（建议配置为32 vCPU 128 GB内存，避免在测试高规格集群时，压力机成为瓶颈），后续操作步骤中涉及的数据准备、运行压测等使用的都是这台ECS机器。

   说明 请将测试所用ECS部署在VPC网络内。请记住该VPC的名称和ID，后续的所有实例都将部署在该VPC内。
2. 准备压测所用PolarDB-X实例
   1. 创建PolarDB-X实例，详细操作步骤请参见创建实例。
      说明 需保证 PolarDB-X实例和压力机ECS在同一个VPC中。
   2. 在实例中创建一个待压测的数据库（本测试中数据库名为sbtest），详细操作步骤请参见CREATE DATABASE。

      CREATE DATABASE sbtest;

3. 调整实例参数
   说明 为了在压测场景下达到最佳性能，需要调整部分 PolarDB-X计算层实例参数。
   1. 修改参数ENABLE_COROUTINE的值为true，XPROTO_MAX_DN_CONCURRENT和XPROTO_MAX_DN_WAIT_CONNECTION的值为4000，详细操作步骤请参见参数设置。
   2. 通过命令行连接到PolarDB-X实例，在同一会话内执行如下SQL语句，关闭日志记录与CPU采样统计：

      set global RECORD_SQL = false;
      set global MPP_METRIC_LEVEL = 0;
      set global ENABLE_CPU_PROFILE = false;
      set global GROUP_PARALLELISM = 1;
      set global SHARE_READ_VIEW = false;
      set global CONN_POOL_XPROTO_XPLAN = false;
      set global NEW_SEQ_GROUPING_TIMEOUT=30000;

4. 准备压测数据
   1. 下载Sysbench压测工具包sysbench.tar.gz，并解压。

      tar xzvf sysbench.tar.gz
      cd sysbench/

      安装编译所需依赖库：

      yum -y install make automake libtool pkgconfig libaio-devel mysql-devel
      ./autogen.sh
      ./configure
      make -j
      make install

      执行命令sysbench --version，返回sysbench 1.1.0证明压测工具包安装成功。

      也可以通过GitHub下载开源版本的Sysbench，请参见GitHub下载链接。

   2. 准备压测配置

      创建配置文件sysb.conf，将PolarDB-X连接信息填入配置文件，其中配置文件以及主要参数的解读如下：

      mysql-host='{HOST}'
      mysql-port='{PORT}'
      mysql-user='{USER}'
      mysql-password='{PASSWORD}'
      mysql-db='sbtest'
      db-driver='mysql'
      percentile='95'
      histogram='on'
      report-interval='1'
      time='60'
      rand-type='uniform'

      参数说明：

      • percentile：响应时间采样的百分位；
      • histogram：是否展示响应时间分布直方图；
      • report-interval：显示实时结果的时间间隔，单位为秒；
      • time：压测时长，单位为秒；
      • rand-type：随机数的分布模式。
   3. 导入压测数据

      sysbench --config-file='sysb.conf' --create-table-options='dbpartition by hash(id)'  --tables='16' --table-size='10000000' --threads='16' --auto_inc='off' oltp_point_select prepare

      参数说明：

      • config-file：指定通用配置文件；
      • create-table-options：指定建表模式；
      • tables：表的数量；
      • table-size：单张表的数据量；
      • threads：导入时的并发数；
      • auto_inc：是否使用auto_increment。
5. 执行压测

   以下列举了Sysbench 6种不同场景测试的命令，建议首次压测增加压测时长。

   说明 命令涉及的相关参数说明如下：

   • db-ps-mode：是否开启prepare模式；
   • mysql-ignore-errors：忽略如锁冲突等原因产生的MySQL错误代码；
   • range-size：指定range查询的范围大小。
   • 点查：

     sysbench --config-file='sysb.conf' --db-ps-mode='disable'  --mysql-ignore-errors='all'  --tables='16' --table-size='10000000' --threads={并发数} oltp_point_select run

   • 只读：

     sysbench --config-file='sysb.conf' --db-ps-mode='disable'  --mysql-ignore-errors='all' --tables='16' --table-size='10000000' --range-size=5 --threads={并发数} oltp_read_only run

   • 读写：

     sysbench --config-file='sysb.conf' --db-ps-mode='disable'  --mysql-ignore-errors='all' --tables='16' --table-size='10000000' --range-size=5 --threads={并发数} oltp_read_write run

   • 按索引更新：

     sysbench --config-file='sysb.conf' --db-ps-mode='disable'  --mysql-ignore-errors='all' --tables='16' --table-size='10000000' --threads={并发数} oltp_update_index run

   • 非索引更新：

     sysbench --config-file='sysb.conf' --db-ps-mode='disable'  --mysql-ignore-errors='all' --tables='16' --table-size='10000000' --threads={并发数} oltp_update_non_index run

   • 写入：

     sysbench --config-file='sysb.conf' --db-ps-mode='disable'  --mysql-ignore-errors='all'  --tables='16' --table-size='10000000' --threads={并发数} oltp_write_only run

测试结果