ApsaraDB for MongoDB：複本集執行個體最大串連數壓力測試

測試環境

建立ECS執行個體和ApsaraDB for MongoDB複本集執行個體。如何建立，請參見棄置站台集執行個體和建立ECS執行個體。

本次測試的執行個體配置如下：

• 測試採用的ApsaraDB for MongoDB執行個體為標準複本集拓撲結構（三節點，包含一個主節點、一個從節點和一個隱藏節點）。

• 測試採用的ECS執行個體和ApsaraDB for MongoDB執行個體在同一地區及可用性區域下，RTT（Round-Trip Time）平均值為0.103ms。

測試載入器

• 本次壓力測試將採用開源社區的YCSB 0.17.0壓測工具。

  說明

  YCSB是一款用Java編寫的支援多種資料庫的效能測試工具，具體安裝和使用方法請參見YCSB。

• 本次壓力測試將使用到自訂的串連數壓測程式，關於自訂的串連數壓測程式的介紹，請參見關於96000串連數測試的補充說明。

測試方法

1. 將ECS執行個體的主私網IP添加到ApsaraDB for MongoDB執行個體的白名單中。如何添加，請參見修改白名單。
   說明 您可以登入ECS控制台，在執行個體詳情頁面的網路資訊地區查看ECS執行個體的主私網IP。
2. 遠端連線ECS執行個體。如何串連，請參見串連ECS執行個體。

3. 使用YCSB工具載入測試資料。

   ./bin/ycsb.sh load mongodb -s -p workload=site.ycsb.workloads.CoreWorkload -p recordcount=10000000 -p mongodb.url="mongodb://test:****@dds-bp13e84d11****.mongodb.rds.aliyuncs.com:3717/admin" -p table=test -threads 8

   您需要修改以下參數值：

   • recordcount=1000000：載入至ApsaraDB for MongoDB執行個體的資料總數。

   • mongodb.url="mongodb://test:****@dds-bp13e84d11****.mongodb.rds.aliyuncs.com:3717/admin"：ApsaraDB for MongoDB執行個體的串連地址。本文使用的資料庫帳號為test，所屬資料庫為admin。

     說明

     您可以登入ApsaraDB for MongoDB控制台，在数据库连接頁面的私網串連 - 專用網路地區查看串連地址。

   • threads 8：用戶端的並發線程數。

4. 執行如下測試命令，進行效能壓測。

   ./bin/ycsb.sh run mongodb -s -p workload=site.ycsb.workloads.CoreWorkload -p recordcount=10000000 -p operationcount=5000000 -p readproportion=50 -p updateproportion=50 -p requestdistribution=zipfian -p mongodb.url="mongodb://test:****@dds-bp13e84d11****.mongodb.rds.aliyuncs.com:3717/admin&maxPoolSize=8000" -p table=test -threads 8000

   您需要修改以下參數值：

   • recordcount=1000000：載入至ApsaraDB for MongoDB執行個體的資料總數。

   • operationcount=5000000：執行讀寫測試的總次數。

   • insertproportion=0：載入資料操作比例。

   • readproportion=50：讀操作比例。

   • updateproportion=50：更新操作比例。

   • mongodb.url="mongodb://test:****@dds-bp13e84d11****.mongodb.rds.aliyuncs.com:3717/admin"：ApsaraDB for MongoDB執行個體的串連地址。本文使用的資料庫帳號為test，所屬資料庫為admin。

     說明

     • 您可以登入ApsaraDB for MongoDB控制台，在数据库连接頁面的私網串連 - 專用網路地區查看串連地址。

     • 您在使用上述命令時需要指定maxPoolSize參數，如果不指定該參數的話，其預設值僅為100，會導致測試過程中遇到MongoWaitQueueFullException的錯誤，從而無法達到期望的最大串連數。

5. 查看測試執行個體的監控資訊，具體操作，請參見節點監控（原基本監控）。

   您需要在節點監控頁簽下，選擇本次測試對應的時間段，查看執行個體的CPU使用率、記憶體使用率、操作QPS數、連接數和連接數使用率指標。

OpenJDK 64-Bit Server VM warning: Attempt to protect stack guard pages failed.
OpenJDK 64-Bit Server VM warning: DBWrapper: report latency for each error is false and specific error codes to track for latency are: []INFO: os rrno=12)
#
# There is insufficient memory for the Java Runtime Environment to continue.
# Native memory allocation (mmap) failed to map 12288 bytes for committing reserved memory.
OpenJDK 64-Bit Server VM warning: Attempt to protect stack guard pages failed.
# An error report file with more information is saved as:
# /root/ycsb-0.17.0/hs_err_pid101727.log
DBWrapper: report latency for each error is false and specific error codes to track for latency are: []
OpenJDK 64-Bit Server VM warning: Attempt to protect stack guard pages failed.
DBWrapper: report latency for each error is false and specific error codes to track for latency are: []OpenJDK 64-Bit Server VM warning: Attempt to protect stack guard pages failed.
OpenJDK 64-Bit Server VM warning: DBWrapper: report latency for each error is false and specific error codes to track for latency are: []INFO: os rrno=12)
[thread 140023352145472 also had an error]
OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00007f59ba0a2000, 12288, 0) failed; error='Cannot allocate memory' (errno=12)

sysctl net.ipv4.ip_local_port_range

net.ipv4.ip_local_port_range = 40000    65535

sudo sysctl -w net.ipv4.ip_local_port_range="10240 65535"

測試結果

mgset-xxx:PRIMARY> db.serverStatus().connections
{
        "current" : 7854,
        "available" : 146,
        "totalCreated" : 7857,
        "internal_current" : 27,
        "internal_available" : 7973,
        "internal_totalCreated" : 7029,
        "active" : 9,
        "exhaustIsMaster" : 4,
        "exhaustHello" : 2,
        "awaitingTopologyChanges" : 6
}