深入理解Redis BigKey

2025-02-28 09:43:21 作者：潜水的码不二

本文主要介绍了Redis中的BigKey问题及其处理方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

MoreKey

大批量往redis里面插入2000W测试数据key

LinuxBash下面执行，插入100w数据脚本

# 生成100W条redis批量设置kv的语句(key=kn,value=vn)写入到/tmp目录下的redisTest.txt文件中

for((i=1;i<=100*10000;i++)); 
do echo "set k$i v$i" >> /tmp/redisTest.txt ;
done;

通过Redis提供的管道–pipe命令插入100W大批量数据

结合自己机器的地址：

cat /tmp/redisTest.txt | redis-cli -h 127.0.0.1 -p 6379 -a 111111 --pipe

请添加图片描述

尝试keys * 花费时间

请添加图片描述

key * 这个指令有致命的弊端，在实际环境中最好不要使用

请添加图片描述

生产上限制keys */flushdb/flushall等危险命令以防止误删误用

通过配置设置禁用这些命令，redistribution。conf在SECURITY这一项中

请添加图片描述

SCAN命令

1.语法

请添加图片描述

2.特点

Redis Scan命令基本语法如下：

SCAN cursor [MATCH pattern] [COUNT count]

cursor -游标

pattern -匹配的模式

count -指定从数据集里返回多少元素，默认值为10。

SCAN 命令是一个基于游标的迭代器，每次被调用之后，都会向用户返回一个新的游标，用户在下次迭代时需要使用这个新游标作为 SCAN 命令的游标参数，以此来延续之前的迭代过程。

SCAN 返回一个包含两个元素的数组，

第一个元素是用于进行下一次迭代的新游标，

第二个元素则是一个数组，这个数组中包含了所有被迭代的元素。如果新游标返回零表示迭代已结束。

SCAN的遍历顺序

非常特别，它不是从第一维数组的第零位一直遍历到末尾，而是采用了高位进位加法来遍历。之所以使用这样特殊的方式进行遍历，是考虑到字典的扩容和缩容时避免槽位的遍历重复和遗漏。

3.使用

请添加图片描述

BigKey

多大算Big

参考《阿里云Redis开发规范》

请添加图片描述

string和二级结构

string是value，最大512MB但是≥10KB就是bigkey

list、hash、set和zset，个数超过5000就是bigkey

List:一个列表最多可以包含2^32-1个元素(4294967295,每个列表超过40亿个元素)。

hash:Redis中每个hash可以存储2^32-1键值对(40多亿)

set:集合中最大的成员数为2^32-1 (4294967295,每个集合可存储40多亿个成员)。

…

危害

1.内存不均，集群迁移困难

2.超时删除，大key删除作梗

3.网络流量阻塞

找出BigKey

redis-cli --bigkeys

好处

给出每种数据结构Top 1 bigkey，同时给出每种数据类型的键值个数+平均大小

不足

想查询大于10kb的所有key，–bigkeys参数就无能为力了，需要用到memory usage来计算每个键值的字节数

redis-cli --bigkeys -a 111111

redis-cli -h 127.0.0.1 -p 6379 -a 111111 --bigkeys
每隔 100 条 scan 指令就会休眠 0.1s，ops 就不会剧烈抬升，但是扫描的时间会变长redis-cli -h 127.0.0.1 -p 7001 –-bigkeys -i 0.1

redis-cli -h 127.0.0.1 -p 6379 -a 111111 --bigkeys
每隔 100 条 scan 指令就会休眠 0.1s，ops 就不会剧烈抬升，但是扫描的时间会变长redis-cli -h 127.0.0.1 -p 7001 –-bigkeys -i 0.1

请添加图片描述