ApsaraDB RDS:Use the pgvector extension to test performance based on HNSW indexes

# Download ANN-Benchmarks
cd ~
git clone https://github.com/erikbern/ann-benchmarks.git

# Install Conda and create the test environment
yum install git
yum install conda
conda create -n ann_test python=3.10.6
conda init bash
source /usr/etc/profile.d/conda.sh
conda activate ann_test

# Install dependencies
cd ~/ann-benchmarks/
pip install -r requirements.txt

Etapa 1: Configure a conexão com o RDS

Adicione as configurações abaixo ao final do arquivo ~/ann-benchmarks/ann_benchmarks/algorithms/pgvector/module.py, substituindo os valores de exemplo pelos detalhes reais da sua conexão RDS:

# RDS instance connection settings
os.environ['ANN_BENCHMARKS_PG_USER'] = 'ann_testuser'
os.environ['ANN_BENCHMARKS_PG_PASSWORD'] = 'testPawword'       # Replace with your password
os.environ['ANN_BENCHMARKS_PG_DBNAME'] = 'ann_testdb'
os.environ['ANN_BENCHMARKS_PG_HOST'] = 'pgm-****.pg.rds.aliyuncs.com'  # Replace with your internal endpoint
os.environ['ANN_BENCHMARKS_PG_PORT'] = '5432'
os.environ['ANN_BENCHMARKS_PG_START_SERVICE'] = 'false'        # Disable automatic startup

Etapa 2: Configure os parâmetros de teste HNSW

Edite o arquivo ~/ann-benchmarks/ann_benchmarks/algorithms/pgvector/config.yml para definir as combinações de parâmetros a serem testadas. Este teste abrange três grupos: M-16(100), M-16(200) e M-24(200).

float:
  any:
  - base_args: ['@metric']
    constructor: PGVector
    disabled: false
    docker_tag: ann-benchmarks-pgvector
    module: ann_benchmarks.algorithms.pgvector
    name: pgvector
    run_groups:
      M-16(100):
        arg_groups: [{M: 16, efConstruction: 100}]
        args: {}
        query_args: [[10, 20, 40, 80, 120, 200, 400, 800]]
      M-16(200):
        arg_groups: [{M: 16, efConstruction: 200}]
        args: {}
        query_args: [[10, 20, 40, 80, 120, 200, 400, 800]]
      M-24(200):
        arg_groups: [{M: 24, efConstruction: 200}]
        args: {}
        query_args: [[10, 20, 40, 80, 120, 200, 400, 800]]

Descrição dos parâmetros:

Diretrizes de ajuste:

• Para aumentar a taxa de recall: eleve M, efConstruction ou ef_search.

• Para reduzir a latência da consulta: diminua ef_search.

• Para diminuir o tempo de criação do índice: reduza efConstruction ou aumente o número de workers paralelos (consulte Apêndice: Impacto dos parâmetros no tempo de criação do índice).

• Os valores padrão (M=16, ef_construction=64, ef_search=40) frequentemente resultam em recall subótimo. Ajuste esses valores conforme suas necessidades específicas.

Etapa 3: Crie a imagem Docker de teste

1. (Opcional) Modifique o arquivo ~/ann-benchmarks/ann_benchmarks/algorithms/pgvector/Dockerfile para ignorar a configuração interna do PostgreSQL e usar apenas os pacotes psycopg e pgvector:

   FROM ann-benchmarks
   USER root
   RUN pip install psycopg[binary] pgvector

2. Crie a imagem Docker:

   cd ~/ann-benchmarks/
   python install.py --algorithm pgvector

   Execute python install.py --help para visualizar todas as opções disponíveis.

Etapa 4: Baixe o conjunto de dados

Ao executar o script de teste, o ANN-Benchmarks baixa automaticamente o conjunto de dados especificado. Este teste utiliza o dataset nytimes-256-angular. Para detalhes sobre os datasets disponíveis, consulte Conjuntos de dados do ANN-Benchmarks.

Se os datasets públicos não corresponderem à sua carga de trabalho, converta seus dados vetoriais para o formato Hierarchical Data Format version 5 (HDF5) e utilize-os como um dataset personalizado. Consulte Custom datasets.

Etapa 5: Execute o teste e colete os resultados

1. Execute o benchmark:

   Parâmetro	Descrição
   --dataset	Dataset a ser testado
   -k	Valor LIMIT na consulta SQL — número de resultados a retornar
   --algorithm	Algoritmo para benchmark (pgvector neste teste)
   --runs	Número de execuções; o melhor conjunto de resultados é selecionado
   --parallelism	Número de workers paralelos (padrão: 1)

   cd ~/ann-benchmarks
   nohup python run.py --dataset nytimes-256-angular -k 10 --algorithm pgvector --runs 1 > ann_benchmark_test.log 2>&1 &
   tail -f ann_benchmark_test.log

2. Gere os gráficos de resultados:

   cd ~/ann-benchmarks
   python plot.py --dataset nytimes-256-angular --recompute

3. (Opcional) Exporte resultados detalhados incluindo taxa de recall, QPS, tempo de resposta (RT), tempo de criação do índice e tamanho do índice:

   cd ~/ann-benchmarks
   python data_export.py --out res.csv

Taxa de recall e QPS

A tabela a seguir apresenta os resultados obtidos com o dataset nytimes-256-angular. Todos os três grupos utilizam os mesmos valores de query_args (ef_search = 10, 20, 40, 80, 120, 200, 400, 800).

Tempo de criação do índice

Efeito de maintenance_work_mem

O parâmetro maintenance_work_mem define a memória máxima para operações de manutenção, como VACUUM e CREATE INDEX (unidade: KB). Aumentar esse valor reduz o tempo de criação, mas apenas até atingir o tamanho do dataset. Quando maintenance_work_mem excede o tamanho do dataset, o tempo de criação para de diminuir.

Os resultados abaixo foram obtidos com o tipo de instância pg.x8.2xlarge.2c (16 núcleos, 128 GB de memória), max_parallel_maintenance_workers=8 e o dataset nytimes-256-angular (~324 MB).

O tempo de criação estabiliza entre 512 MB e 1 GB porque ambos os valores excedem o tamanho do dataset de ~324 MB.

Efeito de max_parallel_maintenance_workers

O parâmetro max_parallel_maintenance_workers controla o número de workers paralelos para uma única operação CREATE INDEX. O tempo de criação diminui à medida que esse valor aumenta.

Os resultados abaixo utilizam o mesmo tipo de instância, maintenance_work_mem=2048 (2 GB) e o dataset nytimes-256-angular.

Efeito das dimensões do vetor

Os resultados abaixo utilizam o dataset GloVe (1.183.514 linhas), m=16, efConstruction=64 e ef_search=40, com maintenance_work_mem=8 GB e max_parallel_maintenance_workers=16.

À medida que a dimensão do vetor aumenta, o tempo de criação do índice aumenta, a taxa de recall diminui, o QPS cai e a latência da consulta sobe.

P99 representa a latência do percentil 99 — 99% de todas as requisições de consulta são concluídas dentro desse tempo.

Efeito do tamanho do dataset

Os resultados abaixo utilizam o dataset dbpedia-openai-{n}k-angular com m=48, efConstruction=256 e ef_search=200.

Conforme o número de linhas aumenta, o tempo de criação do índice cresce de forma não linear, a taxa de recall diminui, o QPS cai e a latência da consulta sobe.