Phoenix定位为OLTP和操作型分析(Operational Analytics),大多用于在线业务,稳定性要求第一位。Phoenix的功能很强大,也很灵活。本文结合大部分用户的经验,给出一些使用建议,希望能帮助更多用户少走弯路。

用户手册

Phoenix SQL基于SQL-92标准,但是还是有很多方言,软件架构也跟传统单机数据库有较大区别,用户在使用前务必阅读相关文档资料。以下资料供用户参考。

使用建议

二级索引使用指南

二级索引是Phoenix中非常重要的功能,用户在使用前需要深入了解,请参见二级索引社区文档二级索引中文文档全局索引设计实践

使用二级索引过程中的注意事项:
  • 是否需要使用覆盖索引?

    覆盖索引需要将查询返回字段加入到索引表中,这样在命中索引时,只需要查询一次索引表即可,非覆盖索引,要想拿到完整结果则需要回查主表。不难理解,覆盖索引查询性能更好,但是会浪费一定存储空间,影响一定写性能。非覆盖索引使用时,有时执行计划并不能默认命中索引,此时,用户需要加索引Hint

  • 应该使用local Index还是global Index?
    实现上,一个global index表对应着一个hbase表,local index是在主表上新增一列存储索引数据。适用场景上,global index适用于多读的场景,但存在同步索引时带来网络开销较大的问题。而local由于和原数据存储在一张表中同步索引数据会相对快一点。虽然local index也有一定适用场景,但仍然推荐使用global index,其原因有以下几点:
    • 当前版本的phoenix的local index的实现相对global index不太完善,问题较多,使用存在一定的风险。
    • local index不太完善,大的改动后,可能会存在不兼容,升级流程比较复杂。
    • 在大数据量下,原始数据和索引数据放在一起会加剧region分裂,且分裂后索引数据的本地性也会丧失。
    因此,在阿里云HBase SQL服务中LOCAL INDEX功能已经被禁止
  • 索引表最多可以创建多少个?

    索引会保证实时同步,也会引来写放大问题,一般建议不超过10个,如果超过建议使用HBase全文索引功能

  • 构建索引需要注意哪些事项?

    使用创建索引语句(CREATE INDEX)时,如果指定async参数,则为异步构建,语句完成时,会在SYSTEM.CATALOG表中建立索引表的元信息,并建立跟主表的关系,但是状态是building,索引表中没有数据,也不可查,需要后续用REBUILD语句

加盐注意事项

重要 本特性有副作用,不建议使用。使用前请确保您已经充分了解其原理与适用场景。如果您无法确定您的场景是否适合,请钉钉与我们联系,我们会帮您进行评估。

加盐通常用来解决数据热点和范围查询同时存在的场景。原理介绍请参见:Phoenix社区文档中文文档

加盐有较强的适用场景要求,场景不合适将会达不到预期期望:
  • 写热点或写不均衡:比如以时间作为第一列主键,永远写表头或者表尾。
  • 需要范围查询:要按第一列主键进行范围查询,不能使用hash打散。

有热点就要打散,但打散就难以做范围查询。因此,要同时满足这对相互矛盾的需求,必须有一种折中的方案:既能在一定程度上打散数据,又能保证有序。这个解决方案就是加盐,亦称分桶(salt buckets)。数据在桶内保序,桶之间随机。写入时按桶个数取模,数据随机落在某个桶里,保证写请求在桶之间是均衡的。查询时读取所有的桶来保证结果集的有序和完备。

一般来说,严格满足上述条件的业务场景并不常见。大多数场景都可以找到其他的业务字段来协助散列。考虑到其严重的副作用,我们不建议使用这个特性。

副作用:
  • 写瓶颈:一般全表只有buckets个region用于承担写。当业务体量不断增长时,因为无法调整bucket数量,不能有更多的region帮助分担写,会导致写入吞吐无法随集群扩容而线性增加。导致写瓶颈,从而限制业务发展。
  • 读扩散:select会按buckets数量进行拆分和并发,每个并发都会在执行时占用一个线程。select本身一旦并发过多会导致线程池迅速耗尽或导致QueryServer因过高的并发而FGC。同时,本应一个RPC完成的简单查询,现在也会拆分成多个,使得查询RT大大增加。

以上副作用会制约业务的发展,尤其对于大体量的、发展快速的业务。因为桶个数不能修改,写瓶颈会影响业务的扩张。读扩散带来的RT增加也大大降低了资源使用效率。

常见的使用误区
  • 预分区:用分桶来实现建表的预分区最常见的误用。这是因为Phoenix提供的split on预分区语法很难使用。目前可用hbase Shell的建表,指定预分区,之后关联为Phoenix表。在海量数据场景,合理的预分区是一个很有挑战的事情,我们后续会对此进行专题讨论,敬请期待。
  • 伪热点:写入热点或不均衡大多数情况都是假象,通常还有其他字段可用于打散数据。比如监控数据场景,以metric名字的hash值做首列主键可有效解决写入均衡的问题。

一定不要为了预分区而使用加盐特性,要结合业务的读写模式来进行表设计。如果您无法做出准确的判断,可以钉钉联系云HBase值班咨询。

Buckets个数跟机型配置和数据量有关系,可以参考下列方式计算,其中N为Core/RS节点数量:
  • 单节点内存 8G: 2*N
  • 单节点内存 16G: 3*N
  • 单节点内存 32G: 4*N
  • 单节点内存 64G: 5*N
  • 单节点内存 128G: 6*N
说明 索引表默认会继承主表的盐值;bucket的数目不能超过256;一个空的Region在内存中的数据结构大概2MB,用户可以评估下单个RegionServer承载的总Region数目,有用户发生过在低配置节点上,建大量加盐表直接把集群内存耗光的问题。

慎用扫全表、OR、Join和子查询

虽然Phoenix支持各种Join操作,但是Phoenix主要还是定位为在线数据库,复杂Join,比如子查询返回数据量特别大或者大表Join大表,在实际计算过程中十分消耗系统资源,会严重影响在线业务,甚至导致OutOfMemory异常。对在线稳定性和实时性要求高的用户,建议只使用Phoenix的简单查询,且查询都命中主表或者索引表的主键。另外,建议用户在运行SQL前都执行下explain,确认是否命中索引,或者主键,请参见explain社区文档explain中文文档

Phoenix不支持复杂查询

Phoenix的二级索引本质还是前缀匹配,用户可以建多个二级索引来增加对数据的查询模式,二级索引的一致性是通过协处理器实现的,索引数据可以实时可见,但也会影响写性能,特别是建多个索引的情况下。对于复杂查询,比如任意条件的and/or组合,模糊查找,分词检索等Phoenix不支持。

Phoenix不支持复杂分析

Phoenix定位为操作型分析(operational analytics),对于复杂分析,比如前面提到的复杂join则不适合,这种建议用Spark这种专门的大数据计算引擎来实现,请参见 HBase SQL(Phoenix)与Spark的选择

Phoenix是否支持映射已经存在的HBase表?

支持,请参见社区相关文档。用户可以通过Phoenix创建视图或者表映射已经存在的HBase表,如果使用表的方式映射HBase表,在Phoenix中执行DROP TABLE语句同样也会删除HBase表。另外,由于column family和列名是大小写敏感的,必须一一对应才能映射成功。Phoenix的字段编码方式大部分跟HBase的Bytes工具类不同,一般建议如果只有varchar类型,才进行映射,包含其他类型字段时不要使用映射。

问题与解决方法

使用云数据库HBase的SQL功能(Phoenix)的过程中可能会遇到以下问题,为您提供解决以下问题的方法。

  • meta可能存在不同步。

    问题描述:在同一时间多个连接访问Phoenix的场景下,一个连接进行DDL操作后(例如创建表,删除表,增加列,增加索引,删除索引等),其他连接不能感知到,可能会造成读写失败(出现表不存在或者索引不存在等异常报错)。

    解决方法:
    • 如果是Phoenix 4.x重客户端访问,那么您需要重启重客户端。
    • 如果是Phoenix 5.x轻客户端访问,那么您需要重启queryserver。
  • 查询bug。

    问题描述:某些情况下,Phoenix对有些索引的主表回查会存在bug,在执行查询的时候, 会出现异常。

    解决方法:通过冗余全部列,避免回查主表。

  • RegionServer OOM的情况。

    问题描述:LookupJoin会在ScanRpc请求中发起Get请求,这个Get请求的Scanner没有被正常关闭。

    解决方法:关闭Lookupjoin。

  • 服务端报Unable to find cached index metadata。

    问题描述:如果用户对应的索引存储的cache在一定时间内没有被访问,那么会从cache中删除。

    解决方法:重启queryserver或者重客户端,或者重新设置cache的过期时间。

  • 对于数据量较大的复杂查询(JOIN、ORDER BY、GROUP BY),您需要合理地控制资源,否则会影响集群稳定性。

    解决方法:如果需要使用SQL语句,您可以了解Lindorm SQL解决相关内容,有任何问题请提交工单