OpenSearch:Calculadora de especificaciones

Uso de la calculadora de especificaciones

En la página de compra de Vector Search Edition, haga clic en Specification Calculator.

Aparecerá el cuadro de diálogo OpenSearch Vector Search Edition Specification Calculator, que contiene las secciones Basic Configurations, Vector Data Configurations y Query Configurations. Después de completar los parámetros, haga clic en Perform Operation para obtener las especificaciones recomendadas.

Configuraciones básicas

1. Región de la instancia: La región donde se creará el motor.

2. Recuperación ante desastres: Indica si la recuperación ante desastres es obligatoria. Seleccione Sí o No en la lista desplegable.

Configuraciones de datos vectoriales

1. Número de documentos vectoriales: La cantidad de entradas de datos vectoriales que se escribirán en el motor.

2. Dimensión del vector: La dimensión de los vectores que se escribirán en el motor.

3. Algoritmo vectorial: Seleccione un algoritmo vectorial según sus necesidades. A continuación se admiten tres algoritmos:

• HNSW: Algoritmo de recuperación vectorial basado en grafos con una tasa de recuperación muy alta y buen rendimiento. Su consumo de memoria y almacenamiento es comparable al de Linear. HNSW funciona bien tanto en conjuntos de datos vectoriales de baja como de alta dimensión, por lo que resulta adecuado para la mayoría de los escenarios de búsqueda vectorial.

• QC: Algoritmo de recuperación vectorial basado en cuantización y agrupamiento con una precisión de recuperación muy alta, bajo consumo de recursos y buen rendimiento. Funciona mejor en conjuntos de datos vectoriales de baja dimensión. Su consumo de memoria y almacenamiento suele ser aproximadamente una cuarta parte del que requieren Linear y HNSW. QC es adecuado para escenarios de recuperación a gran escala sin requisitos estrictos de tasa de recuperación.

• Linear: Algoritmo de búsqueda lineal (búsqueda por fuerza bruta) que garantiza resultados de recuperación completamente precisos, pero consume recursos significativos y ofrece un rendimiento menor. Por lo general, se utiliza para búsquedas precisas en conjuntos de datos pequeños de hasta 10,000 entradas.

Configuraciones de consulta

1. QPS promedio: Las consultas por segundo (QPS) esperadas para el motor.

2. Tiempo de respuesta promedio esperado: El tiempo de respuesta promedio objetivo para los resultados de recuperación. La unidad puede ser segundos (s) o milisegundos (ms).

Después de completar los parámetros, haga clic en Perform Operation.

La recomendación incluye parámetros como query node specification family, number of query nodes, query node specification, data node specification family, number of data nodes, data node specification y storage space/disk space per data node. Adquiera las especificaciones correspondientes según los resultados recomendados.

Datos de benchmark de HNSW

Los siguientes datos de prueba se basan en conjuntos de datos públicos, con la versión del motor vector_service 1.5.9 y una configuración de 1 nodo de consulta + 1 nodo de datos de disco en la nube. Parámetros de compilación del índice: M = 100, ef-construction = 500.

Relación entre el nivel de uso de memoria del nodo de datos y el rendimiento

Las siguientes pruebas utilizan el conjunto de datos Cohere 768D, con una configuración de nodo de consulta 4C16G + nodo de datos de disco en la nube 4C32G, y un índice HNSW (InnerProduct, ef-construction = 500, M = 100). Los datos se insertan de forma incremental (1 millón de entradas a la vez) para observar el impacto del porcentaje de uso de memoria del nodo de datos en el QPS.

En una configuración típica, los índices vectoriales, los índices PK y los índices invertidos se fijan en la memoria física mediante mlock para lograr la menor latencia de recuperación posible. Otros datos (atributos, resúmenes, etc.) no se fijan con mlock y dependen de la caché de páginas del sistema operativo para cargarse bajo demanda. A medida que aumenta el porcentaje de uso de memoria, la caché de páginas se comprime y el acceso frecuente a atributos provoca fallos de página, lo que incrementa la latencia:

• Nivel de uso > 70%: El QPS cae drásticamente.

• Nivel de uso > 80%: El servicio se vuelve prácticamente inutilizable.

Datos de benchmark de IVF_SQ8

Las siguientes pruebas utilizan el conjunto de datos Cohere 768D 10M, con una configuración de nodo de consulta 4C16G + nodo de datos de disco en la nube 4C32G.

Parámetros de compilación del índice:

{
  "proxima.qc.builder.quantizer_class": "Int8QuantizerConverter",
  "proxima.qc.builder.quantize_by_centroid": true,
  "proxima.qc.builder.optimizer_class": "BruteForceBuilder",
  "proxima.qc.builder.thread_count": 10,
  "proxima.qc.builder.optimizer_params": {
    "proxima.linear.builder.column_major_order": true
  },
  "proxima.qc.builder.store_original_features": false,
  "proxima.qc.builder.train_sample_count": 3000000,
  "proxima.qc.builder.train_sample_ratio": 0.5
}

Prueba serial: Tasa de recuperación y latencia

Prueba de rendimiento concurrente: Inserción incremental

Se insertan 10 millones de entradas de datos vectoriales de 768 dimensiones de forma incremental para observar los cambios en el tamaño del índice y el QPS de consulta en diferentes volúmenes de datos.