Hologres:Teste de estresse de gravação, atualização e consultas pontuais de dados

Mecânica de gravação e atualização

A ferramenta suporta dois modos de gravação:

• Modo Fixed Copy -- Utiliza a instrução COPY do PostgreSQL, otimizada com o Fixed Plan para execução mais rápida de SQL.

• Modo Insert -- Usa instruções INSERT padrão, também otimizadas com o Fixed Plan.

Em ambos os modos, a ferramenta adiciona automaticamente duas colunas à tabela:

Para cada coluna TEXT configurada, a ferramenta grava uma string do comprimento especificado com o valor de id anexado. O teste termina quando a contagem de linhas alvo ou a duração é atingida.

Durante as atualizações, o mesmo padrão de incremento de id é utilizado. Para atualizações parciais, apenas um subconjunto de colunas TEXT é reescrito.

Mecânica de consulta pontual

A ferramenta suporta dois modos de consulta:

• Modo assíncrono -- A API de consulta pontual é não bloqueante. Várias solicitações são agrupadas em uma única instrução SQL, maximizando o throughput. Ideal para cenários de alto throughput, como junções de tabelas em tempo real baseadas em Flink.

• Modo síncrono -- A API de consulta pontual é bloqueante. Cada solicitação corresponde a uma instrução SQL e é concluída antes que a próxima comece. Mais indicado para cenários sensíveis à latência.

Durante o teste, a ferramenta seleciona aleatoriamente uma chave primária dentro do intervalo configurado e executa uma consulta pontual. O teste termina quando a duração alvo é atingida.

Sobre a ferramenta de teste

O holo-e2e-performance-tool é uma ferramenta de código aberto desenvolvida pela equipe do Hologres. Ela integra criação de tabelas, geração de dados de teste e medição de desempenho em um único JAR, eliminando a necessidade de preparar dados de teste separadamente. A chave primária dos dados gerados é uma série de inteiros consecutivos, o que garante taxas de acerto totais durante os testes de atualização e consulta pontual.

Etapa 1: Criar o arquivo de configuração

Na instância ECS, crie um arquivo chamado test_insert.conf com o seguinte conteúdo:

# Connection configuration
holoClient.jdbcUrl=jdbc:hologres://<ENDPOINT>:<PORT>/<DBNAME>
holoClient.username=<AccessKey_ID>
holoClient.password=<AccessKey_Secret>
holoClient.writeThreadSize=100

# Write configuration
put.threadSize=8
put.testByTime=false
put.rowNumber=200000000
put.testTime=600000

# Table configuration
put.tableName=kv_test
put.columnCount=20
put.columnSize=20
put.orientation=row

# Other configurations
put.createTableBeforeRun=true
put.deleteTableAfterDone=false
put.vacuumTableBeforeRun=false

Este exemplo cria uma tabela orientada a linhas. Para testar uma tabela orientada a colunas ou híbrida (linha-coluna), altere orientation para column ou row,column .

Substitua os espaços reservados pelos seus valores reais:

Parâmetros de configuração

Etapa 2: Executar o teste

# Fixed Copy mode
java -jar holo-e2e-performance-tool-1.0.0.jar test_insert.conf FIXED_COPY

# Or, Insert mode
java -jar holo-e2e-performance-tool-1.0.0.jar test_insert.conf INSERT

Etapa 3: Visualizar os resultados

cat result.csv

Consulte Campos de resultado para ver o formato de saída.

Atualização global

1. Crie um arquivo chamado test_update.conf. Use a mesma configuração do teste de gravação, mas altere createTableBeforeRun para false:

   A única mudança em relação à configuração do teste de gravação é createTableBeforeRun=false . Isso preserva a tabela e os dados existentes.

      # Connection configuration
      holoClient.jdbcUrl=jdbc:hologres://<ENDPOINT>:<PORT>/<DBNAME>
      holoClient.username=<AccessKey_ID>
      holoClient.password=<AccessKey_Secret>
      holoClient.writeThreadSize=100
   
      # Write configuration
      put.threadSize=8
      put.testByTime=false
      put.rowNumber=200000000
      put.testTime=600000
   
      # Table configuration
      put.tableName=kv_test
      put.columnCount=20
      put.columnSize=20
      put.orientation=row
   
      # Other configurations
      put.createTableBeforeRun=false
      put.deleteTableAfterDone=false
      put.vacuumTableBeforeRun=false

2. Execute o teste:

      java -jar holo-e2e-performance-tool-1.0.0.jar test_update.conf FIXED_COPY

3. Visualize os resultados:

      cat result.csv

Atualização parcial

Uma atualização parcial grava em um subconjunto das colunas TEXT. O parâmetro writeColumnCount controla quantas colunas são atualizadas.

1. Crie um arquivo chamado test_update_part.conf. Adicione o parâmetro writeColumnCount à seção de configuração da tabela:

   writeColumnCount=10 atualiza 10 das 20 colunas TEXT (50%). Ajuste essa proporção para corresponder à sua carga de trabalho.

      # Connection configuration
      holoClient.jdbcUrl=jdbc:hologres://<ENDPOINT>:<PORT>/<DBNAME>
      holoClient.username=<AccessKey_ID>
      holoClient.password=<AccessKey_Secret>
      holoClient.writeThreadSize=100
   
      # Write configuration
      put.threadSize=8
      put.testByTime=false
      put.rowNumber=200000000
      put.testTime=600000
   
      # Table configuration
      put.tableName=kv_test
      put.columnCount=20
      put.columnSize=20
      put.writeColumnCount=10
      put.orientation=row
   
      # Other configurations
      put.createTableBeforeRun=false
      put.deleteTableAfterDone=false
      put.vacuumTableBeforeRun=false

2. Execute o teste:

      java -jar holo-e2e-performance-tool-1.0.0.jar test_update_part.conf FIXED_COPY

3. Visualize os resultados:

      cat result.csv

Etapa 1: Criar o arquivo de configuração

Crie um arquivo chamado test_get.conf:

# Connection configuration
holoClient.jdbcUrl=jdbc:hologres://<ENDPOINT>:<PORT>/<DBNAME>
holoClient.username=<AccessKey_ID>
holoClient.password=<AccessKey_Secret>
holoClient.readThreadSize=32

# Test configuration
get.threadSize=8
get.testTime=300000
get.tableName=kv_test
get.async=true
get.vacuumTableBeforeRun=true
get.keyRangeParams=L1-200000000

# Table initialization configuration (used only in PREPARE_GET_DATA mode)
prepareGetData.rowNumber=200000000
prepareGetData.orientation=row
put.columnCount=20
put.columnSize=20

Este exemplo configura consultas pontuais assíncronas em uma tabela orientada a linhas. Para testar consultas síncronas, defina get.async=false e ajuste threadSize e readThreadSize adequadamente (consulte a tabela de parâmetros abaixo).

Parâmetros de consulta pontual

Etapa 2: Executar o teste

Se a tabela já tiver dados dos testes de gravação ou atualização, pule a preparação de dados e execute a consulta pontual diretamente:

# (Optional) Prepare data -- only if the table has no data
java -jar holo-e2e-performance-tool-1.0.0.jar test_get.conf PREPARE_GET_DATA

# Run the point query test
java -jar holo-e2e-performance-tool-1.0.0.jar test_get.conf GET

Para usar seus próprios dados de negócios em vez de dados gerados, a tabela deve ter uma chave primária de coluna única do tipo INT ou BIGINT com valores consecutivos.

Etapa 3: Visualizar os resultados

cat result.csv

Escolher um formato de armazenamento

Antes de revisar os números, use este guia para selecionar o formato de armazenamento adequado para sua carga de trabalho:

20 colunas

50 colunas

100 colunas

Principais conclusões

• Tabelas orientadas a linhas oferecem o maior throughput de gravação -- aproximadamente 3x mais rápido que tabelas orientadas a colunas para a mesma contagem de colunas.

• Atualizações parciais superam atualizações globais em tabelas orientadas a linhas porque menos colunas são reescritas. Em tabelas orientadas a colunas e híbridas (linha-coluna), atualizações globais podem igualar ou superar o throughput de atualizações parciais.

• A latência de consulta pontual é semelhante entre tabelas orientadas a linhas e híbridas (linha-coluna), tipicamente abaixo de 10 ms para tabelas de 20 colunas.

• Consultas pontuais assíncronas alcançam QPS mais alto que consultas síncronas, mas com latência ligeiramente maior.

• O throughput de gravação e atualização diminui à medida que a contagem de colunas aumenta -- uma tabela orientada a linhas com 100 colunas atinge aproximadamente 28% do QPS de gravação de uma tabela de 20 colunas. O throughput de consulta pontual é menos afetado, retendo 50-60% do QPS em 100 colunas comparado a 20 colunas.

Cliente ECS torna-se o gargalo

Sintoma: O QPS estabiliza apesar da baixa utilização da CPU na instância Hologres.

Causa: A instância ECS executando a ferramenta de teste atingiu seu limite de CPU ou largura de banda de rede.

Solução: Monitore as métricas de CPU e rede da ECS durante o teste. Se qualquer uma estiver saturada, atualize para um tipo de instância ECS maior ou reduza threadSize.

QPS abaixo do esperado

Sintoma: O QPS está significativamente menor que os resultados de benchmark listados acima.

Possíveis causas e soluções:

1. Concorrência insuficiente -- Se a utilização da CPU do Hologres estiver baixa, aumente threadSize (para gravações e atualizações) ou readThreadSize (para consultas pontuais).

2. Instância foi atualizada ou reduzida -- As características de desempenho diferem entre instâncias novas e redimensionadas. Crie uma nova instância para benchmarking.

3. Latência de rede -- Confirme se a instância ECS e a instância Hologres estão na mesma VPC e zona.

4. Skew de dados -- Se estiver usando dados personalizados, valores de chave de distribuição desiguais podem concentrar a carga em um subconjunto de shards.

Erros de conexão

Sintoma: A ferramenta de teste falha com exceções relacionadas à conexão.

Solução: Verifique a string de conexão JDBC, o AccessKey ID e o AccessKey secret. Confirme se a instância Hologres permite conexões da VPC da instância ECS.

Referências

• holo-e2e-performance-tool no GitHub

• Fixed Plan para aceleração de SQL

• Holo Client

• Criar uma instância ECS

• Comprar uma instância Hologres

• Criar um banco de dados

• Implantar OpenJDK manualmente