PolarDB:Prueba TPC-H para el índice columnar agrupado (100 GB)

Este tema describe el diseño, el procedimiento y los resultados de una prueba de referencia TPC-H para el índice columnar agrupado (CCI) de PolarDB-X.

Contexto

TPC-H es una prueba de referencia de soporte a la decisión establecida por el Transaction Processing Performance Council (TPC) para evaluar las capacidades de consulta analítica de las bases de datos. La carga de trabajo de TPC-H consta de ocho tablas y 22 consultas SQL complejas. La mayoría de estas consultas incluyen uniones de tablas, subconsultas y agregaciones GROUP BY.

Diseño de la prueba

Tamaño del conjunto de datos

Esta prueba utiliza un conjunto de datos de 100 GB (Scale Factor = 100). Las tablas principales son:

• LINEITEM: aproximadamente 600 millones de filas

• ORDERS: 150 millones de filas

• PART_SUPP: 80 millones de filas

Especificaciones de la instancia de prueba

Especificación de la instancia para la prueba de estrés

ecs.g7.4xlarge (16 vCPU, 64 GB de memoria)

Procedimiento

Paso 1: Preparar la instancia ECS para la prueba de estrés

Prepare una instancia ECS. Utilizará esta instancia para todas las operaciones posteriores, como la importación de datos y la ejecución de la prueba de estrés.

Paso 2: Preparar la instancia de PolarDB-X****

Cree una instancia de PolarDB-X. Para obtener instrucciones detalladas, consulte Create an instance.

Paso 3: Ajustar los parámetros de la instancia

1. Establezca el parámetro XPROTO_MAX_DN_CONCURRENT en 4000. Para obtener instrucciones detalladas, consulte Parameter settings.

2. Conéctese a la instancia de PolarDB-X mediante una interfaz de línea de comandos (CLI). En la misma sesión, ejecute las siguientes sentencias SQL para deshabilitar el registro de SQL, el muestreo de CPU y la recopilación automática de estadísticas.

   set global RECORD_SQL = false;
   set global MPP_METRIC_LEVEL = 0;
   set global ENABLE_CPU_PROFILE = false;
   set global ENABLE_BACKGROUND_STATISTIC_COLLECTION=false;
   set global ENABLE_STATISTIC_FEEDBACK=false;

Paso 4: Instalar la herramienta Benchmark Boot

1. Abra el puerto 4121 en el security group de la instancia ECS de prueba de estrés. Para obtener más información, consulte Add a security group rule.

2. Inicie sesión en la instancia ECS de prueba de estrés y ejecute el comando bash -c "$(curl -fsSL https://benchmark-boot.oss-cn-hangzhou.aliyuncs.com/setup.sh)" para instalar Benchmark Boot. Para obtener más información, consulte Descargar e instalar Benchmark Boot.

3. En su navegador, abra http://{dirección IP pública de la instancia de prueba de estrés}:4121. Aparecerá la página principal de Benchmark Boot, lo que confirma que la instalación fue exitosa.

Paso 5: Preparar los datos

1. En la consola de Benchmark Boot, vaya a Stress Test > Database Connection > Configure Database Connection. Configure la cadena de conexión de PolarDB-X (dirección IP del host, puerto, nombre de usuario y contraseña). Introduzca el nombre de la base de datos TPC-H, seleccione AUTO en Database Creation Mode y haga clic en Submit.

2. Vaya a Stress Test > TPCH > Import TPC-H. Establezca Submit en 100 y Submit en 16. Haga clic en Submit para importar el conjunto de datos TPC-H de 100 GB a la instancia principal de PolarDB-X.

   Nota

   Una vez importados los datos, Benchmark Boot ejecuta automáticamente la sentencia ANALYZE TABLE para recopilar estadísticas.

3. Después de importar el conjunto de datos TPC-H de 100 GB, ejecute las siguientes sentencias SQL en la instancia principal de PolarDB-X para crear índices columnares agrupados (CCI). Para obtener más información, consulte Create and use CCIs.

   create clustered columnar index `nation_col_index` on nation(`n_nationkey`) partition by hash(`n_nationkey`) partitions 1;
   
   create clustered columnar index `region_col_index` on region(`r_regionkey`) partition by hash(`r_regionkey`) partitions 1;
   
   create clustered columnar index `customer_col_index` on customer(`c_custkey`) partition by hash(`c_custkey`) partitions 64;
   
   create clustered columnar index `part_col_index` on part(`p_size`) partition by hash(`p_partkey`) partitions 64;
   
   create clustered columnar index `partsupp_col_index` on partsupp(`ps_partkey`) partition by hash(`ps_partkey`) partitions 64;
   
   create clustered columnar index `supplier_col_index` on supplier(`s_suppkey`) partition by hash(`s_suppkey`) partitions 64;
   
   create clustered columnar index `orders_col_index` on orders(`o_orderdate`,`o_orderkey`) partition by hash(`o_orderkey`) partitions 64;
   
   create clustered columnar index `lineitem_col_index` on lineitem(`l_shipdate`,`l_orderkey`) partition by hash(`l_orderkey`) partitions 64;

   Nota

   • Ejecute la sentencia SHOW COLUMNAR INDEX para consultar el estado actual de los CCI. Para obtener más información, consulte SHOW COLUMNAR INDEX.

   • La creación de los CCI tarda aproximadamente 45 minutos. Durante este proceso, el estado de los índices es Creating.

Paso 6: Agregar una instancia de almacenamiento columnar de solo lectura

Agregue una instancia de almacenamiento columnar de solo lectura a la instancia principal de PolarDB-X. Para obtener instrucciones detalladas, consulte Add a read-only column store instance.

Paso 7: Ejecutar la prueba TPC-H

1. En la consola de Benchmark Boot, vaya a Stress Test > Database Connection > Configure Database Connection. Configure la cadena de conexión de la instancia de almacenamiento columnar de solo lectura, introduzca el nombre de la base de datos TPC-H, seleccione AUTO en Database Creation Mode y haga clic en Submit.

2. Vaya a Stress Test > TPCH > Run TPCH. Seleccione Submit, introduzca una descripción de la tarea y haga clic en Submit para ejecutar las 22 sentencias de consulta de la prueba de referencia TPC-H.

3. Vaya a Test Result > TPCH para consultar los resultados finales de la prueba.

   Nota

   La primera ejecución de la prueba de referencia requiere un periodo de calentamiento. Para obtener resultados estables, se recomienda ejecutar la prueba varias veces.

Resultados de la prueba

Todos los tiempos de ejecución están en segundos (s).