并行查询（Parallel Query） - 内核功能| 阿里云

PolarDB MySQL引擎8.0版本重磅推出并行查询框架，当您的查询数据量到达一定阈值，就会自动启动并行查询框架，从而使查询耗时指数级下降。

在存储层将数据分片到不同的线程上，多个线程并行计算，将结果流水线汇总到总线程，最后总线程做些简单归并返回给用户，提高查询效率。

并行查询（Parallel Query）利用多核CPU的并行处理能力，以8核32 GB的PolarDB MySQL引擎集群版为例，示意图如下所示。

前提条件

如何查看集群版本，请参见查询版本号。

应用场景

并行查询适用于大部分SELECT语句，例如大表查询、多表连接查询、计算量较大的查询。对于非常短的查询，效果不太显著。

轻分析类业务
报表查询通常SQL复杂而且比较耗费时间，通过并行查询可以加速单次查询效率。
系统资源相对空闲
并行查询会使用更多的系统资源，只有当系统的CPU较多、IO负载不高、内存够大的时候，才可以充分使用并行查询来提高资源利用率和查询效率。
在离线混合场景
不同的业务用不同的连接地址，使用不同的数据库节点，避免互相影响。如果您为单节点的集群地址开启了并行查询，那么就会通过处理OLAP数据请求的地址对该单节点地址下的对应只读节点进行访问。

并行查询的使用方法

通过系统参数来控制并行查询
PolarDB通过Global全局参数max_parallel_degree来控制每一条SQL最多使用多少个线程并行执行，默认值是0，您可以在使用过程中随时修改该参数，无需重启数据库，具体操作请参见设置集群参数。

并行查询推荐设置以及相关说明如下：
- 并行度参数从低到高，逐渐增加，建议不要超过CPU核数的四分之一。集群的CPU内核数大于等于8才支持开启并行查询，小规格的集群不建议开启该参数。例如，刚开始使用并行查询时，设置max_parallel_degree参数为2，试运行一天后，如果CPU压力不大，可以往上增加；如果CPU压力较大，停止增加。
- max_parallel_degree参数为0时，表示关闭并行查询；max_parallel_degree参数为1时，表示开启并行查询，且并行度为1。
- 为保证并行度参数max_parallel_degree也能兼容其它程序版本以及考虑到MySQL配置文件中该参数的默认配置，PolarDB在控制台上增加了前缀loose，因此参数名称是loose_max_parallel_degree，这样保证其他版本接受该参数时也不会报错，详情请参见Program Option Modifiers。
- 打开并行查询功能时，需要设置innodb_adaptive_hash_index参数为OFF，innodb_adaptive_hash_index参数开启会影响并行查询的性能。
除了Global集群级别，您也可以单独调整某Session内SQL查询的并行度。例如，通过Session级环境变量，加到JDBC的连接串配置中，则可以对某个应用程序单独设置并行度。
```
set max_parallel_degree = n 
```
通过Hint来控制并行查询
使用Hint语法可以对单个语句进行控制，例如系统默认关闭并行查询情况下，但需要对某个高频的慢SQL查询进行加速，此时就可以使用Hint对特定SQL进行加速。更多详情，请参见通过Hint控制。
通过设置阈值来控制优化器是否选择并行执行
PolarDB提供了两个阈值来控制优化器是否选择并行执行，SQL语句只要满足其中任意一个条件，优化器就会考虑并行执行。
- records_threshold_for_parallelism
  若优化器估算出语句中存在扫描记录数超过该阈值的表，优化器会考虑选择并行执行计划。默认值为10000。若您的业务量较小或复杂查询业务并发较低，您可以选择将该阈值设置为2000或以上。
  
  说明上文提到的扫描记录数是根据对应表的统计信息进行估算得出的值，可能存在一定的误差。
- cost_threshold_for_parallelism
  若优化器估算查询的串行执行代价超过该阈值，优化器会考虑选择并行执行计划。默认值为50000。

相关参数和变量

表 1. 系统参数
参数名	级别	描述
max_parallel_degree	Global、Session	单个查询的最大并行度，即最多使用多少个Worker进行并行执行。取值范围：[0-1024] 默认值：0，表示关闭并行计算。说明 PolarDB优化器可能会对主查询和子查询分别并行执行，如果同时并行执行，它们的最大Worker数不能超过max_parallel_degree的值，整个查询使用的Worker数为主查询和子查询使用的Worker数之和。
parallel_degree_policy	Global	设置单个查询的并行度配置策略，取值范围如下： `TYPICAL`：PolarDB选择查询并行度时不会考虑数据库负载（如CPU使用率等），而尽可能与`max_parallel_degree`设置的并行度保持一致。 `AUTO`：PolarDB会根据数据库负载（如CPU使用率等）来决定是否禁止并行查询计划，并会根据查询代价选择并行度。 `REPLICA_AUTO`（默认）：仅只读节点会根据数据库负载（如CPU使用率等）决定是否禁止并行查询计划，并会根据查询代价选择并行度，而主节点不会选择并行执行计划。说明更多关于并行度配置策略的详细介绍，请参见并行度控制策略。
records_threshold_for_parallelism	Session	若优化器估算出语句中存在扫描记录数超过该阈值的表，优化器会考虑选择并行执行计划。取值范围：[0-18446744073709551615] 默认值：10000。说明若您的业务量较小或复杂查询业务并发较低，您可以选择将该阈值设置为2000或以上。
cost_threshold_for_parallelism	Session	若优化器估算查询的串行执行代价超过该阈值，优化器会考虑选择并行执行计划。取值范围：[0-18446744073709551615] 默认值：50000。

表 2. 状态变量
变量名	级别	描述
Parallel_workers_created	Session、Global	从Session启动开始，生成Parallel Worker的个数。
Gather_records	Session、Global	Gather记录总数。
PQ_refused_over_memory_soft_limit	Session、Global	由于内存限制没有启用并行的查询数。
PQ_refused_over_total_workers	Session、Global	由于总Worker数限制没有启用并行的查询数。
Total_used_query_memory	Global	当前总的已使用的查询内存（Virtual Memory）。
Total_running_parallel_workers	Global	当前正在运行的Parallel Worker的数目。

性能指标

本次测试将使用TPC-H生成100 GB数据来测试PolarDB MySQL引擎8.0版本集群的性能指标。测试用的PolarDB集群规格为32核256 GB（独享规格），并行度max_parallel_degree分别设置为32和0，具体测试步骤请参见并行查询性能（OLAP）。

通过以上测试结果图得出结论，TPC-H中95%的SQL可以被加速，且在被加速的SQL语句中，有70%的SQL语句的执行速度是未使用并行查询的8倍以上。

说明本文的TPC-H的实现基于TPC-H的基准测试，并不能与已发布的TPC-H基准测试结果相比较，本文中的测试并不符合TPC-H基准测试的所有要求。

并行执行EXPLAIN

更多关于EXPLAIN执行计划输出中与并行查询相关的内容，请参见并行执行EXPLAIN。