Redis实现布隆过滤器缓存去重的"智能门卫"(实例详解)

import org.springframework.data.redis.core.StringRedisTemplate;
import java.nio.charset.StandardCharsets;
import java.security.MessageDigest;
import java.security.NoSuchAlgorithmException;
/**
 * 基于Redis BitMap手动实现布隆过滤器
 */
public class RedisBloomFilter {
    // Redis键名
    private final String key;
    // bit数组长度
    private final long bitSize;
    // 哈希函数个数
    private final int hashCount;
    private final StringRedisTemplate stringRedisTemplate;
    // 构造器：初始化参数
    public RedisBloomFilter(String key, long n, double p, StringRedisTemplate stringRedisTemplate) {
        this.key = key;
        this.stringRedisTemplate = stringRedisTemplate;
        // 计算bit数组长度
        this.bitSize = (long) (-n * Math.log(p) / (Math.log(2) * Math.log(2)));
        // 计算哈希函数个数
        this.hashCount = (int) (this.bitSize / n * Math.log(2));
    }
    // 添加元素到布隆过滤器
    public void add(Object value) {
        byte[] bytes = value.toString().getBytes(StandardCharsets.UTF_8);
        long[] hashes = hash(bytes, hashCount, bitSize);
        for (long hash : hashes) {
            // 把对应bit位置置为1
            stringRedisTemplate.opsForValue().setBit(key, hash, true);
        }
    }
    // 判断元素是否存在（存在返回true，不存在返回false；true可能是误判）
    public boolean contains(Object value) {
        byte[] bytes = value.toString().getBytes(StandardCharsets.UTF_8);
        long[] hashes = hash(bytes, hashCount, bitSize);
        for (long hash : hashes) {
            // 只要有一个bit位为0，就确定不存在
            if (!stringRedisTemplate.opsForValue().getBit(key, hash)) {
                return false;
            }
        }
        return true;
    }
    // 多哈希函数实现（基于MD5拆分）
    private long[] hash(byte[] bytes, int hashCount, long bitSize) {
        long[] hashes = new long[hashCount];
        try {
            MessageDigest md5 = MessageDigest.getInstance("MD5");
            byte[] digest = md5.digest(bytes);
            // 把MD5结果（16字节）拆分成多个哈希值
            for (int i = 0; i < hashCount; i++) {
                long hash = 0;
                for (int j = i * 2; j < (i + 1) * 2 && j < digest.length; j++) {
                    hash = hash * 256 + (digest[j] & 0xFF);
                }
                // 确保哈希值在bit数组长度范围内
                hashes[i] = hash % bitSize;
            }
        } catch (NoSuchAlgorithmException e) {
            throw new RuntimeException("哈希函数初始化失败", e);
        }
        return hashes;
    }
}

// 初始化布隆过滤器：key为"user:bloom:filter"，预估10万条数据，误判率0.01
RedisBloomFilter bloomFilter = new RedisBloomFilter("user:bloom:filter", 100000, 0.01, stringRedisTemplate);
// 添加元素
bloomFilter.add("user123");
bloomFilter.add("order456");
// 判断元素是否存在
boolean exists = bloomFilter.contains("user123"); // 大概率返回true
boolean notExists = bloomFilter.contains("user789"); // 一定返回false

<dependency>
    <groupId>org.redisson</groupId>
    <artifactId>redisson-spring-boot-starter</artifactId>
    <version>3.23.3</version> // 版本与Redis版本适配
</dependency>

import org.redisson.api.RBloomFilter;
import org.redisson.api.RedissonClient;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;
@Component
public class RedissonBloomFilterDemo {
    @Autowired
    private RedissonClient redissonClient;
    // 初始化布隆过滤器
    public RBloomFilter<String> initBloomFilter() {
        // 布隆过滤器名称
        String filterName = "user:bloom:filter:redisson";
        // 获取布隆过滤器实例
        RBloomFilter<String> bloomFilter = redissonClient.getBloomFilter(filterName);
        // 初始化：预估10万条数据，误判率0.01（Redisson会自动计算m和k）
        bloomFilter.tryInit(100000, 0.01);
        return bloomFilter;
    }
    // 测试使用
    public void testBloomFilter() {
        RBloomFilter<String> bloomFilter = initBloomFilter();
        // 添加元素
        bloomFilter.add("user123");
        bloomFilter.add("order456");
        // 判断元素是否存在
        boolean exists = bloomFilter.contains("user123"); // 大概率true
        boolean notExists = bloomFilter.contains("user789"); // 一定false
        // 统计已添加元素数量（近似值）
        long count = bloomFilter.count();
        System.out.println("已添加元素数量：" + count);
    }
}