本文介绍如何使用TPC-C工具测试PolarDB-X 1.0数据库的联机交易处理(偏向OLTP能力),您可以按照本文介绍自行测试对比,快速了解数据库系统的性能。

背景信息

TPC-C是业界常用的一套Benchmark,由TPC委员会制定发布,用于评测数据库的联机交易处理(偏向OLTP能力)。主要涉及10张表,包含了NewOrder(新订单的生成)、Payment(订单付款)、OrderStatus(最近订单查询)、Delivery(配送)和StockLevel(库存缺货状态分析)等五类业务事务模型。TPC-C使用tpmC值(Transactions per Minute)来衡量系统最大有效吞吐量(MQTh,Max Qualified Throughput),其中Transactions以NewOrder Transaction为准,即最终衡量单位为每分钟处理的新订单数。

说明 本文的TPC-C的实现基于TPC-C的基准测试,并不能与已发布的TPC-C基准测试结果相比较,本文中的测试并不符合TPC-C基准测试的所有要求。

测试设计

  • 测试数据量
    • 针对普通实例性能测试,TPC-C测试结果主要基于1000 Warehouse,其中主要的表数据量如下:
      • bmsql_order_line 3亿行
      • bmsql_stock 1亿行
      • bmsql_customer、bmsql_history、bmsql_oorder各3000万行
    • 为了验证PolarDB-X 1.0的水平扩展能力,还引入了超大规格实例的TPC-C测试,相比于普通实例扩展了近10倍的资源。在超大规格压测设计上,构建了10000 Warehouse,同时TPC-C施压机需要增加到3台32核的ECS机器,避免压测本身成为了瓶颈点。
  • 测试所用实例规格
    • 企业版测试环境:实例企业版32核128 GB(单节点16核64 GB)、4台RDS MySQL 5.7实例(8核32 GB独享型)。
    • 标准版测试环境:实例标准版16核64 GB(单节点8核32 GB)、4台RDS MySQL 5.7实例(4核32 GB独享型)。
    • 超大规格测试环境:实例企业版256核1024 GB(单节点16核64 GB)、12台RDS MySQL 5.7实例(32核128 GB独享型)。

测试方法

  • 步骤1:准备压力机ECS
    需准备一个ECS,后续操作步骤中涉及的数据准备、运行压测等使用的都是这台ECS机器。
    说明 建议将测试所用ECS部署在VPC网络内(如选择经典网络可能出现RDS某些规格没有库存的情况)。请记住该VPC的名称和ID,后续的所有实例都将部署在该VPC内。
  • 步骤2:准备压测所用DRDS实例
    1. 创建DRDS实例,详细操作步骤请参见创建实例
    2. 在实例中创建一个待压测的数据库(本测试中数据库名为tpcc,详细操作步骤请参见步骤二:创建数据库
    说明 需保证ECS和DRDS在同一个VPC中。
  • 步骤3:压测数据准备
    1. 准备压测工具
      说明
      • 本文使用开源的BenchmarkSQL 5.0作为TPC-C测试。
      • BenchmarkSQL默认不支持MySQL协议,需要进行工具改造适配。
      1. 下载改造好的压测包tpcc.tar.gz,并在ECS中执行如下命令将其解压到tpcc目录:
        mkdir tpcc 
        tar zxvf tpcc.tar.gz -C tpcc        
      2. 按如下说明修改压缩包内的对应文件:
        src/client/jTPCC.java(增加一个MySQL的type)
        src/client/jTPCCConnection.java(支持MySQL的语法,加一个别名)
        src/LoadData/LoadData.java(关闭loader数据时的大事务机制)
        src/LoadData/LoadDataWorker.java(关闭loader数据时的大事务机制)
        run/funcs.sh(脚本增加一个MySQL的type)
        run/runDatabaseBuild.sh(去掉不必要的阶段)
        run/runBenchmark.sh(调整默认jvm参数)
        run/runLoader.sh(调整默认jvm参数)
        run/sql.common/foreignKeys.sql (注释全部外键创建,DRDS不支持外键)
        run/sql.common/indexCreates.sql (注释掉全部主键创建,只留2个索引创建,MySQL默认在建表时直接创建索引)
        run/sql.common/indexDrops.sql(注释全部主键删除)
        run/sql.common/tableCreates.sql(添加主键和拆分键,DRDS需要指定拆分键)
    2. 准备压测配置
      在ECS中执行如下命令,在tpcc/run目录下创建props.mysql文件:
      // --------- env config --------- // 
      db=mysql
      driver=com.mysql.jdbc.Driver
      conn=jdbc:mysql://drdsxxxx:3306/tpcc?
      useSSL=false&useServerPrepStmts=false&useConfigs=maxPerformance&rewriteBatchedStatements=true
      user=tpcc
      password=tpcc
      
      // warehouse 数量
      warehouses=1000
      // 导入数据的并发数,每100并发预计产生2万TPS,可以结合目标TPS能力调整并发
      // runLoader.sh的jvm内存,100并发默认为4 GB,500并发建议设置为16 GB
      loadWorkers=100
      
      // TPC-C 压测并发数
      terminals=1000
      // 压测时间,单位分钟
      runMins=10
      // ---------- default config ------- //
      //To run specified transactions per terminal- runMins must equal zero
      runTxnsPerTerminal=0
      //Number of total transactions per minute
      limitTxnsPerMin=0
      
      //Set to true to run in 4.x compatible mode. Set to false to use the
      //entire configured database evenly.
      terminalWarehouseFixed=true
      
      //The following five values must add up to 100
      //The default percentages of 45, 43, 4, 4 & 4 match the TPC-C spec
      newOrderWeight=45
      paymentWeight=43
      orderStatusWeight=4
      deliveryWeight=4
      stockLevelWeight=4
      
      // Directory name to create for collecting detailed result data.
      // Comment this out to suppress.
      resultDirectory=my_result_%tY-%tm-%td_%tH%tM%tS
      
      // osCollectorScript=./misc/os_collector_linux.py
      // osCollectorInterval=1
      // osCollectorSSHAddr=user@dbhost
      // osCollectorDevices=net_eth0 blk_sda
      说明
      • 导入压测数据时,需要关注warehouses(仓库数)和loadWorkers(并发数)。
      • TPC-C压测时,需要关注terminals(并发数)和runMins(运行时间)。
    3. 压测执行
      1. 在ECS中执行如下命令准备压测数据:
        cd tpcc/run
        nohup ./runDatabaseBuild.sh props.mysql &
        说明 默认按照100并发导入,总共5亿多记录,整体导入时间在小时级别,建议通过nohup推到后台运行,避免ssh命令行断开导致导入中断。
      2. 执行如下命令运行TPC-C测试:
        cd tpcc/run
        ./runBenchmark.sh props.mysql
        运行之后可以看到如下测试结果:
        08:56:16,844 [Thread-883] INFO   jTPCC : Term-00, Measured tpmC (NewOrders) = 104230.88
        08:56:16,844 [Thread-883] INFO   jTPCC : Term-00, Measured tpmTOTAL = 231664.49
        08:56:16,844 [Thread-883] INFO   jTPCC : Term-00, Session Start     = 2019-09-19 08:54:16
        08:56:16,845 [Thread-883] INFO   jTPCC : Term-00, Session End       = 2019-09-19 08:56:16
        08:56:16,845 [Thread-883] INFO   jTPCC : Term-00, Transaction Count = 465440
        说明 tpmC值即为对应压测场景下的结果。更多测试结果详情,请参见测试结果
      3. 执行如下命令清理压测数据:
        cd tpcc/run
        ./runDatabaseDestroy.sh props.mysql

测试结果

并发度 标准版实例tpmC 企业版实例tpmC 超大规格实例tpmC
1个客户端x 1000并发 65,735.14 101,620.8 /
6个客户端x 1000并发 / / 821,547.97
1