Redis最佳实践

hulingF

2024-03-23

Redis

Redis最佳实践

1.Redis键值设计

1.1优雅的Key结构

Redis的Key虽然可以自定义，但是最好遵循下面的几个最佳实践约定：

遵循基本格式：[业务名称]:[数据名称]:[id]

长度不超过44字节(String的embstr编码，申请内存时只需要调用一次内存分配函数，效率更高，因为Redis中内存是统一jemalloc控制分配的，通常是是2、4、8、16、32、64等，64-16-3-1=44，其中16代表redisObject的长度，3表示sdshdr8的头部长度，1表示字符数组中末尾的\0标识符)

不包含特殊字符(防止出现意外的Bug)

这么做Key的可读性强，方便管理，也能有效避免Key冲突问题。

1.2拒绝BigKey

什么是BigKey

BigKey通常以Key的大小和Key中成员的数量来总和判定：

Key本身的数据量过大：一个String类型的Key，它的值为5MB
Key中的成员数过多：一个ZSet类型的Key，它的成员数量为10000个
Key中成员的数据量过大：一个Hash类型的Key，它的成员数量虽然只有1000个，但是这些成员的Value总大小为100MB

推荐值：

单个Key的Value大小小于10KB
对于集合类型的Key，建议元素数量小于1000

BigKey的危害

网络阻塞

对于BigKey执行读请求时，少量的QPS就可能导致带宽使用率被占满，导致Redis实例乃至所在物理机变慢

数据倾斜

BigKey所在的Redis实例内存使用率远高于其他实例，无法使数据分片的内存资源达到均衡

Redis阻塞

对于元素过多的Hash、List、ZSet等做运算耗时较久，使得处理命令的主线程阻塞

CPU压力

对BigKey的数据序列化与反序列化会导致CPU的使用率飙高，影响Redis实例和本机其他应用

如何发现BigKey

redis-cli –bigkeys

利用redis-cli提供的--bigkeys参数，可以遍历分析所有Key，并返回Key的整体统计信息与每个数据的Top1的bigkey

scan扫描

自己编程，利用scan扫描Redis中的所有Key(千万不能使用keys *命令)，利用strlen、hlen等命令判断key的长度(此处不建议使用MEMORY USAGE)

final static int STR_MAX_LEN = 10 * 1024;
final static int HASH_MAX_LEN = 512;
final static int LIST_MAX_LEN = 1000;
final static int SET_MAX_LEN = 512;
final static int ZSET_MAX_LEN = 128;
@Test
void testScan() {
    int maxLen = 0;
    long len = 0;
    String cursor = "0";
    do {
        // 扫描部分Key
        ScanResult<String> result = jedis.scan(cursor);
        // 更新游标
        cursor = result.getCursor();
        // 遍历Key
        List<String> list = result.getResult();
        if (list == null || list.isEmpty()) {
            break;
        }
        for (String key : list) {
            // 判断Key的类型
            String type = jedis.type(key);
            switch (type) {
                case "string":
                    len = jedis.strlen(key);
                    maxLen = STR_MAX_LEN;
                    break;
                case "hash":
                    len = jedis.hlen(key);
                    maxLen = HASH_MAX_LEN;
                    break;
                case "list":
                    len = jedis.llen(key);
                    maxLen = LIST_MAX_LEN;
                    break;
                case "set":
                    len = jedis.scard(key);
                    maxLen = SET_MAX_LEN;
                    break;
                case "zset":
                    len = jedis.zcard(key);
                    maxLen = ZSET_MAX_LEN;
                    break;
            }
            if (len >= maxLen) {
                System.out.printf("Found big key : %s, type : %s, length or size : %d \n", key, type, len);
            }
        }
    } while (!cursor.equals("0"));
}