Hologres不同的实例规格定义了不同的Core和内存资源,由于计算和存储分离架构,存储资源与实例规格不相关。本文将为您介绍实例的资源规格,您可以根据需要动态调整实例的规格,包括升配、降配,独立修改计算和存储资源。

基本概念

Hologres运行时的资源包括用于元数据管理的进程资源、用于查询服务的计算资源、用于优化数据写入的导入链路资源以及缓存服务。所有服务基于容器技术,通过多个并行的容器计算节点实现高性能并行计算能力。

Hologres基于实例的资源规格提供默认的最大连接数和预分配的Shard数,这些参数是针对大多数场景,经过调校和优化的默认配置。其中,最大连接数不可修改,Shard数可通过创建新的Table Group调整。系统扩容或者缩容时,最大连接数同时调整,但扩缩容之前的DB默认Shard数不调整,需要手动修改,新建的DB其Shard数为对应规格的默认值

在扩容后,更多的Core资源可以提供更好的查询并发能力,大多数使用场景不需要调整Shard数。当您需要更大的写入能力时,可以扩大Shard数,提高并发写入的吞吐量。同时,行存表由于天然的分布特性,Shard的个数越多,其读取性能会更高。

实例规格推荐

在使用Hologres实例实践过程中存在数据量可预估,最适宜实例规格以及对应Shard数区间应该设置为多少的问题,由于最适宜实例规格和Shard数不仅和数据存储量有关,还和实际访问频率、实际数据访问量、计算负载的类型(点查、分析等)、写入吞吐、Table Group上表的个数等因素有关,该问题无法给出准确答案。您可参见下表中根据数据量估算的所需Shard数和实例规格的推荐数,选择适合您的参数配置。
说明 下表根据数据量估算的所需Shard数和实例规格的推荐数不是唯一标准,小数据量的表也可以放在多的Shard Count之上,大数据量的表也可以放在单个Shard上。请您根据实际业务场景选择一个合适的Shard Count,既满足有较高的并发度,带来更高计算效率,又满足数据较集中,从而避免不必要的Shuffle开销。
数据总规模 推荐规格 推荐Shard数 使用说明
4000万行以下 32Core以上 10~20 不适合压力测试,建议用于开发环境。
4000万行~4亿行 64Core以上 20~40 适合业务场景较为单一,没有混合负载场景。
4亿行~40亿行 128Core以上 40~80 写入查询能力较为均衡,建议生产系统默认起步配置。
40亿行~400亿行 256Core以上 80~240 建议考虑两个Table Group,大表和小表分别属于不同的Table Group,设计不同的Shard。
400亿行~4000亿行 512Core以上 160~400 建议考虑多个Table Group,仅对部分超大表划分较多Shard,普通表不建议Shard过多。

实例默认资源表

Hologres基于实例的资源规格提供默认的最大连接数和预分配的Shard数,默认规格配置如下表所示。
说明
  • 为提升用户体验,从V0.10.25版本开始默认连接数增加一倍(默认增加)。从V0.10.31版本开始,默认中大规格实例shard数将会降低,具体变化可以参考下面表格。
  • 在规格扩容小于5倍时,不建议调整Shard。该默认规格适合绝大部分场景,考虑了写入和查询的平衡配置。
  • 单个节点的内存上限是64GB,内存会分为三部分,分别为计算、缓存和元数据。在Hologres V1.1.24版本之前,单个节点计算运行时内存上限是20GB,V1.1.24版本之后,计算内存采用运行时弹性分配,当前节点剩余未使用内存都会尽量用于计算时分配,提高整体内存利用率。
  • 最大总连接数=单Frontend节点最大连接数*Frontend节点数,括号中为具体每个节点的规格,其中括号前部分为单接入节点最大连接数,后部分为总接入节点个数。
实例规格 默认节点数 原默认Shard数(适用于V0.10.30及以下版本) 新默认Shard数(适用于V0.10.31及以上版本) 原最大总连接数(适用于V0.10.24及以下版本) 新最大总连接数(适用于V0.10.25及以上版本) Superuser预留总连接数(适用于V0.10及以下版本) Superuser预留总连接数(适用于V1.1及以上版本)
32Core 2 20 20 128(64*2) 256(128*2) 6 10(5*2)
64Core 4 40 40 256(128*2) 512(128*4) 6 20(5*4)
96Core 6 60 60 384(192*2) 768(128*6) 6 30(5*6)
128Core 8 80 80 513(171*3) 1024(128*8) 9 40(5*8)
160Core 10 100 80 640(160*4) 1280(128*10) 12 50(5*10)
192Core 12 120 80 770(154*5) 1536(128*12) 15 60(5*12)
256Core 16 160 120 1026(171*6) 2048(128*16) 18 80(5*16)
400Core 25 240 160 1600(160*10) 3200(128*25) 30 125(5*25)
512Core 32 320 160 2052(171*12) 4096(128*32) 36 160(5*32)

查看并管理实例默认连接数

Hologres支持您查看并管理实例默认连接数。
  • 查看连接数。
    当您创建实例并连接开发工具之后,可以执行如下语句进行查看,其中返回值是单个Frontend接入节点的最大连接数。
    说明 Hologres实例总的最大连接数=单Frontend节点最大连接数*Frontend节点数。
    --查看单接入节点的最大连接数(实际连接在多个接入节点间均衡分配)。
    show max_connections;
  • 管理连接。

    实例会为Superuser提供预留连接数,当连接数达到默认规格上限时,Superuser可以连接Hologres使用SQL命令查看空闲连接并进行释放,或者根据业务情况升配。查看空闲连接并进行释放连接的具体操作,请参见连接数

查看并修改实例Shard数

在实例扩容后,大多数情况下不需要调整Shard数,更多的Core资源可以提供更好的查询并发能力。如果您需要更大的写入能力,可以通过扩大Shard数来提高并发写入的吞吐量。

同时,行存表由于天然的分布特性,更多的Shard读取性能会更高。如果因业务需求,需要查看以及修改实例的Shard数,请参见Resharding