ApsaraDB for MongoDB:Teste de estresse do número máximo de conexões em uma instância de conjunto de réplicas

Ambiente de teste

Crie uma instância ECS e uma instância do ApsaraDB for MongoDB. Para mais informações, consulte Create a replica set instance e Create an ECS instance.

A tabela a seguir descreve as configurações da instância ECS e da instância do ApsaraDB for MongoDB usadas no teste.

• A instância do ApsaraDB for MongoDB usada no teste adota a arquitetura de três nós, composta por um nó primário, um nó secundário e um nó oculto.

• A instância ECS e a instância do ApsaraDB for MongoDB usadas no teste estão implantadas na mesma zona e região, com tempo médio de ida e volta (RTT) de 0,103 ms.

Ferramenta de teste

• O teste utiliza a ferramenta de código aberto Yahoo Cloud Serving Benchmark (YCSB) 0.17.0.

  Nota

  O YCSB é uma ferramenta Java que avalia o desempenho de diversos tipos de bancos de dados. Para mais informações sobre como instalar e usar o YCSB, consulte YCSB.

• Um programa personalizado de teste de estresse de conexões também é utilizado. Para mais informações, consulte Additional information about a stress test for 96.000 connections.

Método de teste

1. Adicione o primary private IP address da instância ECS à lista de permissões da instância do ApsaraDB for MongoDB. Para mais informações, consulte Modify a whitelist.

   Nota

   Acesse o console do ECS e visualize o Primary Private IP Address da instância ECS na seção Configuration Information da página Instance Details.

2. Conecte-se à instância ECS. Para mais informações, consulte Create and manage an ECS instance by using the ECS console (express version).

3. Use a ferramenta YCSB para carregar os dados de teste.

   ./bin/ycsb.sh load mongodb -s -p workload=site.ycsb.workloads.CoreWorkload -p recordcount=10000000 -p mongodb.url="mongodb://test:****@dds-bp13e84d11****.mongodb.rds.aliyuncs.com:3717/admin" -p table=test -threads 8

   Modifique as seguintes configurações:

   • recordcount=1000000: quantidade total de dados carregados na instância do ApsaraDB for MongoDB.

   • mongodb.url="mongodb://test:**@dds-bp13e84d11**.mongodb.rds.aliyuncs.com:3717/admin": string de conexão da instância do ApsaraDB for MongoDB. Neste teste, a conta do banco de dados é test e o banco de dados é admin.

     Nota

     Acesse o console do ApsaraDB for MongoDB. Na página Database Connection, visualize a string de conexão na seção Internal Connections - VPC.

   • threads 8: número de threads simultâneas no cliente usado no teste.

4. Execute o comando a seguir para realizar o teste de estresse de desempenho:

   ./bin/ycsb.sh run mongodb -s -p workload=site.ycsb.workloads.CoreWorkload -p recordcount=10000000 -p operationcount=5000000 -p readproportion=50 -p updateproportion=50 -p requestdistribution=zipfian -p mongodb.url="mongodb://test:****@dds-bp13e84d11****.mongodb.rds.aliyuncs.com:3717/admin?maxPoolSize=8000" -p table=test -threads 8000

   Modifique as seguintes configurações:

   • recordcount=1000000: volume total de dados carregados na instância do ApsaraDB for MongoDB.

   • operationcount=5000000: quantidade total de operações de leitura e escrita.

   • insertproportion=0: proporção de operações de carga.

   • readproportion=50: proporção de operações de leitura.

   • updateproportion=50: proporção de operações de atualização.

   • mongodb.url="mongodb://test:**@dds-bp13e84d11**.mongodb.rds.aliyuncs.com:3717/admin": string de conexão da instância do ApsaraDB for MongoDB. Neste teste, a conta do banco de dados é test e o banco de dados é admin.

     Nota

     • Acesse o console do ApsaraDB for MongoDB. Na página Database Connection, verifique a string de conexão na seção Internal Connections - VPC.

     • Especifique o parâmetro maxPoolSize. Caso contrário, o valor padrão de 100 será aplicado, resultando no erro MongoWaitQueueFullException que impede o teste de atingir o limite alvo de conexões.

5. Visualize as informações de monitoramento da instância do ApsaraDB for MongoDB usada no teste. Para mais detalhes, consulte Node monitoring (previously basic monitoring).

   Na aba node monitoring, selecione o intervalo de tempo do teste para visualizar as métricas de CPU Utilization, Memory Usage, QPS, Connections e Connection Usage da instância.

OpenJDK 64-Bit Server VM warning: Attempt to protect stack guard pages failed.
OpenJDK 64-Bit Server VM warning: DBWrapper: report latency for each error is false and specific error codes to track for latency are: []INFO: os rrno=12)
#
# There is insufficient memory for the Java Runtime Environment to continue.
# Native memory allocation (mmap) failed to map 12288 bytes for committing reserved memory.
OpenJDK 64-Bit Server VM warning: Attempt to protect stack guard pages failed.
# An error report file with more information is saved as:
# /root/ycsb-0.17.0/hs_err_pid101727.log
DBWrapper: report latency for each error is false and specific error codes to track for latency are: []
OpenJDK 64-Bit Server VM warning: Attempt to protect stack guard pages failed.
DBWrapper: report latency for each error is false and specific error codes to track for latency are: []OpenJDK 64-Bit Server VM warning: Attempt to protect stack guard pages failed.
OpenJDK 64-Bit Server VM warning: DBWrapper: report latency for each error is false and specific error codes to track for latency are: []INFO: os rrno=12)
[thread 140023352145472 also had an error]
OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00007f59ba0a2000, 12288, 0) failed; error='Cannot allocate memory' (errno=12)

sysctl net.ipv4.ip_local_port_range

net.ipv4.ip_local_port_range = 40000    65535

sudo sysctl -w net.ipv4.ip_local_port_range="10240 65535"

Resultados do teste

mgset-xxx:PRIMARY> db.serverStatus().connections
{
        "current" : 7854,
        "available" : 146,
        "totalCreated" : 7857,
        "internal_current" : 27,
        "internal_available" : 7973,
        "internal_totalCreated" : 7029,
        "active" : 9,
        "exhaustIsMaster" : 4,
        "exhaustHello" : 2,
        "awaitingTopologyChanges" : 6
}