PostgreSQL WAL日志膨胀的处理过程

 更新时间:2024年12月01日 10:36:52   作者:施嘉伟  
PostgreSQL由于WAL日志的机制,导致其在不正确配置的情况下会出现磁盘空间暴涨的情况,本文档就此情景写一般处理办法,感兴趣的小伙伴跟着小编一起来看看吧

GPT4.0+Midjourney绘画+国内大模型 会员永久免费使用!
如果你想靠AI翻身,你先需要一个靠谱的工具!

第一部分 描述

PostgreSQL由于WAL日志的机制,导致其在不正确配置的情况下会出现磁盘空间暴涨的情况,本文档就此情景写一般处理办法。

第二部分 场景复现及处理过程

2.1 基本描述

某一客户反映,有一个PostgreSQL数据库的数据目录增长非常大,500G的总磁盘空间,剩余23G,通过du -sh $PGDATA/*对数据目录进行统计分析,发现大部分的空间都被pg_wal目录占用,文件数量达到1w+。

2.2 查看相关配置

查看可能会造成原因的相关参数,checkpoint_timeout是可能造成wal大量生成的原因之一,当max_wal_size=20GB时,可能会出现在进行checkpoint之间,如果出现大事物或者写入量非常大的时候,最大可能会生成(20*1024)/16=1280个wal文件
适当调整后,发现由于事务量比较大,即使调小参数,还是会不断生成文件,接着查看归档是否出现问题

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
postgres=# show checkpoint_timeout ;
 checkpoint_timeout
--------------------
 60min
(1 row)
 
postgres=# show max_wal_size ;
 max_wal_size
--------------
 20GB
(1 row)
 
postgres=# show min_wal_size ;
 min_wal_size
--------------
 80MB
(1 row)
 
postgres=# show wal_keep_size ;
 wal_keep_segments
---------------
 128
(1 row)

2.3 查看归档配置

可以看到归档已经开启,检查归档路径是否存在,在pg_wal/ archive_status文件中记录wal文件的归档状态是否正常,检查下来都没有发现问题,如果说归档没有成功进行,wal日志也是无法移除造成空间迅增

1
2
3
4
5
6
7
8
9
10
11
postgres=# show archive_mode ;
 archive_mode
--------------
 on
(1 row)
 
postgres=# show archive_command ;
                                  archive_command                                  
------------------------------------------------------------------------------------
 test ! -f /software/pgsql12/archivedir/%f && cp %p /software/pgsql12/archivedir/%f
(1 row)

2.4 查看是否有备库

查看是否有流复制环境,流复制环境中,主要靠wal日志进行主备同步,当主备环境之间差异过大,或者出问题后,造成主备没有同步,则会保留wal日志不进行删除。如果有差异的话,wal_keep_segments参数会生效,它会为备库保留相应数量的wal日志文件、甚至更多。

1
postgres=# select * from pg_stat_replication ;

确认没有备库环境

2.5 查看是否有复制槽

是否存在无效的复制槽,备库如果没有进行同步或者说没有消费wal日志,那么该复制槽不可用,wal日志也会一直保留,造成wal日志不断增加

1
postgres=# select * from pg_replication_slots;

查询到果然存在一个active状态为f的复制槽,我们尝试删除该复制槽

1
SELECT * FROM pg_drop_replication_slot('pg_102');

删除后,发现pg_wal空间不再增长,一段时间后已自动释放

到此这篇关于PostgreSQL WAL日志膨胀的处理过程的文章就介绍到这了,更多相关PostgreSQL WAL日志膨胀内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

蓄力AI

微信公众号搜索 “ 脚本之家 ” ,选择关注

程序猿的那些事、送书等活动等着你

原文链接:https://blog.csdn.net/weixin_42329915/article/details/144110733

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若内容造成侵权/违法违规/事实不符,请将相关资料发送至 reterry123@163.com 进行投诉反馈,一经查实,立即处理!

相关文章

  • postgresql 实现查询某时间区间的所有日期案例

    postgresql 实现查询某时间区间的所有日期案例

    这篇文章主要介绍了postgresql 实现查询某时间区间的所有日期案例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-01-01
  • PostGIS的安装与入门使用指南

    PostGIS的安装与入门使用指南

    在安装PostGIS前首先必须安装PostgreSQL,然后再安装好的Stack Builder中选择安装PostGIS组件。本文重点给大家介绍PostGIS的安装与入门使用指南,感兴趣的朋友一起看看吧
    2022-01-01
  • PostgreSQL图(graph)的递归查询实例

    PostgreSQL图(graph)的递归查询实例

    这篇文章主要给大家介绍了关于PostgreSQL图(graph)的递归查询的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用PostgreSQL具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
    2019-12-12
  • 开源数据库postgreSQL13在麒麟v10sp1源码安装过程详解

    开源数据库postgreSQL13在麒麟v10sp1源码安装过程详解

    这篇文章主要介绍了开源数据库postgreSQL13在麒麟v10sp1源码安装过程详解,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2021-01-01
  • postgresql 如何关闭自动提交

    postgresql 如何关闭自动提交

    这篇文章主要介绍了postgresql 如何关闭自动提交的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-01-01
  • PostgreSQL 默认权限查看方式

    PostgreSQL 默认权限查看方式

    这篇文章主要介绍了PostgreSQL 默认权限查看方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-01-01
  • 浅谈PostgreSQL和SQLServer的一些差异

    浅谈PostgreSQL和SQLServer的一些差异

    这篇文章主要介绍了浅谈PostgreSQL和SQLServer的一些差异,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2021-01-01
  • PostgreSQL聚合函数的分组排序使用示例

    PostgreSQL聚合函数的分组排序使用示例

    这篇文章主要为大家介绍了PostgreSQL聚合函数的分组排序使用示例,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步早日升职加薪
    2022-04-04
  • PostgreSQL教程(三):表的继承和分区表详解

    PostgreSQL教程(三):表的继承和分区表详解

    这篇文章主要介绍了PostgreSQL教程(三):表的继承和分区表详解,本文讲解了多表继承、 继承和权限、什么是分区表、分区表实现、分区和约束排除等内容,需要的朋友可以参考下
    2015-05-05
  • postgresql 实现数据的导入导出

    postgresql 实现数据的导入导出

    这篇文章主要介绍了postgresql 实现数据的导入导出,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-12-12

最新评论