Redis

关注公众号 jb51net

关闭
首页 > 数据库 > Redis > Redis持久化AOF

Redis持久化AOF示例详解

作者:shark-chili

AOF(Append-Only File)用于将Redis服务器收到的写操作追加到日志文件,通过该机制可以保证服务器重启后依然可以依靠日志文件恢复数据,这篇文章主要介绍了Redis持久化AOF详解,需要的朋友可以参考下

基础面试题

什么是AOF

AOF(Append-Only File)用于将Redis服务器收到的写操作追加到日志文件,通过该机制可以保证服务器重启后依然可以依靠日志文件恢复数据。
它的工作过程大抵分为以下几步:

在这里插入图片描述

AOF写后记录日志有哪些优劣

有如下几个优势:

当然劣势也很明显:

AOF核心配置参数有哪些

# 设置为yes开启aof
appendonly yes

如下示例所示,我们将该参数配置为yes后重启redis服务端,使用客户端完成如下操作

# 设置三个key
127.0.0.1:6379> set k1 v1
OK
127.0.0.1:6379> set k2 v2
OK
127.0.0.1:6379> set k3 v3
OK
127.0.0.1:6379>

此时我们查看aof文件,大小增加了

[root@iZ8vb7bhe4b8nhhhpavhwpZ sbin]# find / -name appendonly.aof
/usr/sbin/appendonly.aof
[root@iZ8vb7bhe4b8nhhhpavhwpZ sbin]# find / -name appendonly
[root@iZ8vb7bhe4b8nhhhpavhwpZ sbin]# find / -name appendonly.aof
/usr/sbin/appendonly.aof
[root@iZ8vb7bhe4b8nhhhpavhwpZ sbin]# ll appendonly.aof
-rw-r--r-- 1 root root 110 Aug 26 00:09 appendonly.aof

然后我们再次使用客户端写入文件

# 再次使用redis客户端写入指令
[root@iZ8vb7bhe4b8nhhhpavhwpZ sbin]# redis-cli
127.0.0.1:6379> set test vv
(error) NOAUTH Authentication required.
127.0.0.1:6379> auth 123
OK
127.0.0.1:6379> set k4 v4
OK
127.0.0.1:6379>

可以看到大小又增加了,由此得出我们AOF配置生效了。

# 再次查看aof文件大小,变为139,说明aof配置生效
[root@iZ8vb7bhe4b8nhhhpavhwpZ sbin]# ll appendonly.aof
-rw-r--r-- 1 root root 139 Aug 26 00:10 appendonly.aof
[root@iZ8vb7bhe4b8nhhhpavhwpZ sbin]#

appendfilename ,该参数决定aof持久化文件的名字,这个就不多赘述了。 如下所示,这条配置就意味着aof文件名是appendonly

appendfilename "appendonly.aof"

dir :该参数决定aof文件持久化位置,默认为redis-server的位置。

dir ./

appendfsync : 在介绍appendfsync,我们必须介绍一下操作系统提供的两个函数

  • write:write操作会触发操作系统延迟写机制,这种机制下数据一写到缓存区就直接返回,至于什么时候进行刷盘由操作系统决定,要么缓存空间满了刷,要么就是定时任务时间到了。
  • fsync:该调用会强制将缓存写入磁盘中,所以使用这个函数进行文件写入时,可能存在阻塞问题。

了解了上述两个函数之后,我们再来聊聊这个参数值:

1. `always`:该选项会使得命令一旦写入aof_buf后,就会调用操作系统的fsync将指令写到aof物理文件中,完成操作后线程返回
2. `everysec`:该选项会在命令写入`aof_buf`后调用操作系统的`wirte`,完成write后线程返回。`fsync`会由专门的线程每秒调用一次
3. `no`:该选项会在命令写入`aof_buf`后调用操作系统的`write`,完成`write`后线程返回,不调用`fsync`,同步操作由操作系统执行,最长周期为`30s`。

所以配置时,我们建议采用默认的写入策略everysec,他不会像always造成线程阻塞亦或者像no一样不可控。

 appendfsync everysec

no-appendfsync-on-rewrite:redis为了保证持久化aof文件时调用fsync时不会出现长时间的卡顿,增加了该参数,若设置为yes,在redis调用fsync期间出现的写入指令不会将其放到页缓存(page cache)中,仅仅做个接收,保证不阻塞。

no-appendfsync-on-rewrite yes

auto-aof-rewrite-percentage和auto-aof-rewrite-min-size(重点):这两个参数决定redis何时进行重写,如下所示,这两个参数分别为100和64mb,意味当本次aof文件超过64+64*100%就触发redis自动重写。

auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb

aof-load-truncated:若设置为yes时在redis加载aof文件出错后会发送日志通知用户,反之则不做任何处理也不会启动redis,用户可以使用redis-check-aof指令完成数据修复。
这个参数笔者会在后文演示。

aof-load-truncated yes

aof-rewrite-incremental-fsync:开启该参数后,子进程在进行aof重写时,每32m就会将数据写到的新的aof文件中,从而避免单刷造成的线程阻塞。

aof-rewrite-incremental-fsync yes

aof-use-rdb-preamble:redis 4.0之后支持同时开启rdb和aof,具体后文会详述

# rdb+aof两种机制结合使用
aof-use-rdb-preamble yes

AOF断电后恢复的过程是什么

我们在之前的aof文件重命名,模拟断电后数据丢失,首先将aof文件备份,在重启redis,模拟断电后数据丢失

[root@iZ8vb7bhe4b8nhhhpavhwpZ sbin]# mv appendonly.aof appendonly.aof.bak
# 重启redis服务端,打开客户端查看数据都丢失了
[root@iZ8vb7bhe4b8nhhhpavhwpZ sbin]# redis-cli
127.0.0.1:6379> auth 123
OK
127.0.0.1:6379> keys *
(empty array)

然后将备份文件还原,重启redis。

# 将aof文件还原,并重启redis
[root@iZ8vb7bhe4b8nhhhpavhwpZ sbin]# mv appendonly.aof.bak appendonly.aof
mv: overwrite ‘appendonly.aof'? y
[root@iZ8vb7bhe4b8nhhhpavhwpZ sbin]# redis-server /root/redis/redis.conf

可以看到,数据已经回来了。

# 再次使用redis查看,丢失的数据都回来了
[root@iZ8vb7bhe4b8nhhhpavhwpZ sbin]# redis-cli
127.0.0.1:6379> auth 123
OK
127.0.0.1:6379> keys *
1) "k4"
2) "k3"
3) "k2"
4) "k1"
127.0.0.1:6379>

进阶面试题

AOF重写机制如何压缩文件体积

如下图所示,可以看到重写时会查看进程内是否存在过期数据,如果数据过期则这个指令的操作也会被移除。
再一个我们之前可以存在对某个集合的元素添加操作,在重写时会将这些添加指令压缩成一条指令。

AOF重写时是否会阻塞线程

答案是会的,但阻塞仅仅发生在fork子进程那段时间,如下图所示,AOF重写时首先会fork一个子进程进行日志重写,在此期间新写入的数据都会被存到的AOF缓冲区中,直到子进程全部完成重写并原子覆盖aof日志文件后,才会将这些缓冲数据写到新的日志文件中。
需要补充的是,上面提到日志重写期间数据都会被写到AOF缓冲区中,在高并发场景下很可能导致内存被大量占用进而导致进程阻塞,所以Redis借由Linux管道技术使得在AOF日志重写期间的新增的数据照样可以写入到新文件中。

Redis重启后加载日志文件的顺序

执行顺序为:

Redis恢复数据期间文件校验是怎么做

在日志写入期间要是服务器宕机了,那么这个日志文件可能就用不了了,而解决方案也很可能简单,redis给我提供一个命令进行fix。

例子如下,我们首先需要将一个日志文件损坏:

# 追加一个错误数据到aof文件末行并杀死redis 模拟服务器宕机
[root@iZ8vb7bhe4b8nhhhpavhwpZ sbin]# vim appendonly.aof
# 再次启动redis,操作数据时发现登录失败
[root@iZ8vb7bhe4b8nhhhpavhwpZ sbin]# redis-server /root/redis/redis.conf
[root@iZ8vb7bhe4b8nhhhpavhwpZ sbin]# redis-cli
Could not connect to Redis at 127.0.0.1:6379: Connection refused
not connected>

然后使用日志文件进行修复

#  使用 redis-check-aof --fix aof文件 修复文件
[root@iZ8vb7bhe4b8nhhhpavhwpZ sbin]# redis-check-aof --fix appendonly.aof
0x              8b: Expected prefix '*', got: 's'
AOF analyzed: size=151, ok_up_to=139, ok_up_to_line=34, diff=12
This will shrink the AOF from 151 bytes, with 12 bytes, to 139 bytes
# 这里选择y
Continue? [y/N]: y
Successfully truncated AOF

可以看到,经过fix修复后的日志文件部分数据已经恢复了

# 重启redis,使用客户端连接发现启动成功且数据都还在
[root@iZ8vb7bhe4b8nhhhpavhwpZ sbin]# redis-server /root/redis/redis.conf
[root@iZ8vb7bhe4b8nhhhpavhwpZ sbin]# redis-cli
127.0.0.1:6379> auth 123
OK
OK
127.0.0.1:6379> keys *
1) "k4"
2) "k3"
3) "k2"
4) "k1"

AOF有哪些优劣势

优势如下:

而劣势也很明显:

redis混合持久化

Redis4.0实现了RDB和AOF混合方式,相比于单RDB或者单AOF更安全,执行效率更高,它的执行过程大抵如下:

参考文献

面试必问的 Redis:RDB、AOF、混合持久化:https://zhuanlan.zhihu.com/p/340082703

《Redis开发与运维》:https://book.douban.com/subject/26971561/

到此这篇关于Redis持久化AOF详解的文章就介绍到这了,更多相关Redis持久化AOF内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

您可能感兴趣的文章:
阅读全文