在redis中防止消息丢失的机制
作者：叶 秋
在项目中，由于网络问题，我们很难保证生产者发送的消息能100%到达消息队列服务器，也就是说有消息丢失的可能性，因 此，生产者就必须具有消息丢失检测和重发机制，这篇文章主要介绍了如何在redis中防止消息丢失,需要的朋友可以参考下
如何在redis中防止消息丢失
前言
在项目中，由于网络问题，我们很难保证生产者发送的消息能100%到达消息队列服务器，也就是说有消息丢失的可能性，因 此，生产者就必须具有消息丢失检测和重发机制，也就是我们常说的消息队列的事物机制。
不能把可靠性的保证全部交给TCP，TCP只保证了传输层的可靠传输，但是无法保证与应用层的交互是否出错 TCP无法给应用层任何反馈，因此必须在应用层处理差错
同步的事务——停止等待
所谓停止等待协议就是没发送完一组数据后，等待对方确认并且收到确认后，再发送下一组数据。
同步的事务——连续ARQ
类似于TCP的滑动窗口模型
异步的事务——回调机制
生产者在发送消息的时候，注册一个回调函数，这样生产者便不用停下来等待确认了，而是可以一直持续发送消息，当消息到达消息队列服务器的时候，服务器便会调用生产者注册的回调函数，告知生产者消息发送成功了还是失败了，进而做进一步的处理，从而提高了并发量。
消息的幂等处理
由于网络原因，生产者可能会重复发送消息，因此消费者方必须做消息的幂等处理，常用的解决方案有:
- 查询操作：查询一次和查询多次，在数据不变的情况下，查询结果是一样的。select是天然的幂等操作;
- 删除操作：删除操作也是幂等的，删除一次和多次删除都是把数据删除。(注意可能返回结果不一样，删除的数据不存在，返回0，删除的数据多条，返回结果多个) ;
- 唯一索引，防止新增脏数据。比如:支付宝的资金账户，支付宝也有用户账户，每个用户只能有一个资金账户，怎么防止给用户创建资金账户多个，那么给资金账户表中的用户ID加唯一索引，所以一个用户新增成功 一个资金账户记录。要点:唯一索引或唯一组合索引来防止新增数据存在脏数据(当表存在唯一索引，并发 时新增报错时，再查询一次就可以了，数据应该已经存在了，返回结果即可);
- token机制，防止页面重复提交。业务要求: 页面的数据只能被点击提交一次;发生原因: 由于重复点击或 者网络重发，或者nginx重发等情况会导致数据被重复提交;解决办法: 集群环境采用token加redis(redis单 线程的，处理需要排队);单JVM环境:采用token加redis或token加jvm内存。处理流程:1. 数据提交前要向 服务的申请token，token放到redis或jvm内存，token有效时间;2. 提交后后台校验token，同时删除 token，生成新的token返回。token特点:要申请，一次有效性，可以限流。注意:redis要用删除操作来判 断token，删除成功代表token校验通过，如果用select+delete来校验token，存在并发问题，不建议使用;
- 悲观锁——获取数据的时候加锁获取。select * from table_xxx where id=‘xxx’ for update; 注意:id字段一 定是主键或者唯一索引，不然是锁表，会死人的悲观锁使用时一般伴随事务一起使用，数据锁定时间可能会 很长，根据实际情况选用;
- 乐观锁——乐观锁只是在更新数据那一刻锁表，其他时间不锁表，所以相对于悲观锁，效率更高。乐观锁的 实现方式多种多样可以通过version或者其他状态条件:1. 通过版本号实现update table_xxx set name=#name#,version=version+1 where version=#version#如下图(来自网上);2. 通过条件限制 update table_xxx set avai_amount=avai_amount-#subAmount# where avai_amount-#subAmount# >= 0要求: quality-#subQuality# >= ，这个情景适合不用版本号，只更新是做数据安全校验，适合库存模型，扣份额和 回滚份额，性能更高;
- 分布式锁——还是拿插入数据的例子，如果是分布是系统，构建全局唯一索引比较困难，例如唯一性的字段没法 确定，这时候可以引入分布式锁，通过第三方的系统(redis或zookeeper)，在业务系统插入数据或者更新数据，获 取分布式锁，然后做操作，之后释放锁，这样其实是把多线程并发的锁的思路，引入多多个系统，也就是分布式系 统中得解决思路。要点:某个长流程处理过程要求不能并发执行，可以在流程执行之前根据某个标志(用户ID+后缀 等)获取分布式锁，其他流程执行时获取锁就会失败，也就是同一时间该流程只能有一个能执行成功，执行完成 后，释放分布式锁(分布式锁要第三方系统提供);
- select + insert——并发不高的后台系统，或者一些任务JOB，为了支持幂等，支持重复执行，简单的处理方法 是，先查询下一些关键数据，判断是否已经执行过，在进行业务处理，就可以了。注意:核心高并发流程不要用这 种方法;
到此这篇关于如何在redis中防止消息丢失的文章就介绍到这了,更多相关redis防止消息丢失内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！