Redis中的数据结构对服务的性能有着举足轻重的影响，如果大key较多，容易形成性能瓶颈，甚至降低业务稳定性。定期分析内存并根据分析结果优化内存，可以保持服务的稳定和高效。为了不影响线上Redis服务的运行，您可以使用BGSAVE命令生成RDB文件，再结合redis-rdb-tools和SQLite进行静态分析。

前提条件

  • 已创建Linux系统的ECS实例。
  • ECS中已安装了SQLite。
说明

创建备份文件

redis-rdb-tools简介

在获取到备份文件后，需要使用redis-rdb-tools生成内存快照。redis-rdb-tools是一个基于Python的RDB文件解析工具，主要有以下三个功能：

  • 生成内存快照；
  • 将RDB文件中的数据转换为JSON格式；
  • 对比两个RDB文件，发现差异。

安装redis-rdb-tools

您可以在以下两种方式中任选其一安装redis-rdb-tools：

  • 在ECS中使用PYPI安装： 
    pip install rdbtools
  • 在ECS中使用源码安装： 
    git clone https://github.com/sripathikrishnan/redis-rdb-tools
cd redis-rdb-tools
sudo python setup.py install

使用redis-rdb-tools生成快照

在ECS中使用如下命令生成CSV格式的快照：

rdb -c memory dump.rdb > memory.csv

生成的快照包含如下几列的数据：

  • 数据库ID；
  • 数据类型；
  • key；
  • 内存使用量（Byte），包含key、value和其它值的容量；
    说明 内存使用量是理论上的近似值，一般略低于实际值。
  • 编码。

生成的CSV文件示例如下：

$head memory.csv
database,type,key,size_in_bytes,encoding,num_elements,len_largest_element
0,string,"orderAt:377671748",96,string,8,8,
0,string,"orderAt:413052773",96,string,8,8,
0,sortedset,"Artical:Comments:7386",81740,skiplist,479,41,
0,sortedset,"pay:id:18029",2443,ziplist,84,16,
0,string,"orderAt:452389458",96,string,8,8

在CSV文件生成后，您需要将每行末尾的逗号（,）删除，以便进行下一步的导入。

将CSV文件导入SQLite数据库

SQLite是一款轻型的关系型数据库。将CSV文件中的数据导入到SQLite数据库中之后，即可使用SQL语句分析Redis的内存数据。

说明
  • SQLite版本必须是3.16.0以上。
  • 导入前请通过批量编辑或其它方式删除CSV文件中每行末尾的逗号（,）。

使用如下命令导入数据：

sqlite3 memory.db
sqlite> create table memory(database int,type varchar(128),key varchar(128),size_in_bytes int,encoding varchar(128),num_elements int,len_largest_element varchar(128));
sqlite>.mode csv memory
sqlite>.import memory.csv memory

使用redis-rdb-tools分析内存快照

将数据导入SQLite数据库后，可根据需要使用SQL语句进行分析，部分分析方式的示例如下：

  • 查询内存中的key总数： 
    sqlite>select count(*) from memory;
  • 查询内存占用总量： 
    sqlite>select sum(size_in_bytes) from memory;
  • 查询内存占用量最高的10个key： 
    sqlite>select * from memory order by size_in_bytes desc limit 10;
  • 查询元素数量1000以上的list： 
    sqlite>select * from memory where type='list' and num_elements > 1000;