使用concurrentHashMap如何实现缓存
作者:蜗牛^^O^
文章介绍了使用ConcurrentHashMap实现缓存的线程安全性和初始化方法,以及如何处理高并发场景下的缓存清理和数据一致性问题,包括分桶、使用ConcurrentLinkedQueue以及使用CountDownLatch来确保缓存数据的不丢失
使用concurrentHashMap实现缓存
1、concurrentHashMap本身是线程安全的
2、使用@PostConstruct注解init函数,在生成bean的时候会调用init函数。init函数进行concurrenthashMap的初始化,分配初始空间大小。并且开启线程每隔一段时间处理清空缓存,flushAlll。
3、如果一个key需要存多条消息,并发很高,可以考虑分桶,使用多个concurrentHashMap,根据key来决定放到那个Map保存,Map里面使用另外的key进行散列。
4、add向缓存添加元素,map元素个数大于阈值,则进行缓存处理清理
难点一
- 缓存需要读多写多,高并发。
- 使用concurrentHashMap比较合适,根据id来散列,id相同的消息多个,所以concurrentHashMap的val应该是一个线程安全,并且并发效率好的集合。
- 使用ConcurrentLinkedQueue。
难点二
上线发布,需要重启机器,缓存实例被销毁,怎么做到缓存的不丢失?
场景:
- 消费mq,放到缓存。
- 使用@BeforeDestory,void destory函数中,将flag置成flase,缓存添加函数add,先判断flag如果为flase,直接抛出异常,mq不确认ack。
- flag应该是volatile的。
难点三
- destory函数将flag置成flase,add函数根据flag判断,add是高并发的。可能add判断为true之后,正要放入缓存,destory才将flag置成flase,也会丢失少量消息。
- 如果使用CountDownLatch,等add把消息全部放入缓存之后,再执行uploadAll,把缓存全部刷,进行清理。关键是把countDownLatch的初始值设为多少呢?
总结
以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。