ELK配置转存redis缓存采集nginx访问日志的操作方法

 更新时间:2024年11月05日 12:17:43   作者:weixin_43819738  
本文介绍了在服务器上部署MySQL及如何启动MySQL服务,并详细说明了如何查找安装软件的日志文件位置,通过使用rpm命令查询MySQL服务的日志文件位置,以及通过编辑Logstash配置文件来添加MySQL日志信息,感兴趣的朋友一起看看吧

脚本之家 / 编程助手:解决程序员“几乎”所有问题!
脚本之家官方知识库 → 点击立即使用

在136服务器上部署mysql

 启动mysql服务

可通过以下命令查找安装的软件包

怎么查找安装软件的日志文件位置rpm -qc mysql-server,即可显示mysql.log位置

也可通过查找配置文件中的log关键字来查找log文件日志位置

用awk命令,以=切割,输出第二个字段

rpm -ql 也可查找

编辑logstash配置文件

添加mysql日志信息配置文件

重启logstash配置文件

登录前台查看

只采集nginx日志,配置nginx_logs.conf,修改索引

看到9600端口启动成功,即配置启动成功

搜索索引,选择索引模式,添加新的索引

点击创建索引模式

重新访问nginx服务器生成新的nginx日志文件,即可加载出nginx日志文件

以时间字段作为筛选

此时显示日志配置成功,通过135服务器重新访问136nginx服务,前台显示出访问信息

 添加mysql单独索引日志显示服务

但是不能连续重启nginx和mysql日志加载配置文件,需要将其配置日志文件放在一个文件夹下,进行加载显示,配置logstash.yml文件

在配置的目录下创建配置文件

用以下方式重新启动配置文件

修改文件pipelines.yml内容配置文件目录

 加入该配置文件后,etc目录下会生成以下文件内容

在135服务器上安装redis服务,配置监听为全网监听

 启动redis服务

进入redis,查看redis中的键值

在136上配置用redis缓存技术,将logstash采集的日志存储到redis中

重新加载配置文件在config文件夹下,执行../bin/logstash -f nginx_logs.conf

在135服务器上监控redis

虽然有访问数据,但是没有key,不知道哪里原因,重新单独测试,先写入redis中

停掉135上的elk进程,直接停掉java进程即可pkill java

编辑logstash配置文件nginx_log.conf,vim nginx_log.conf,删除之前的写入els服务模块内容

重新加载配置文件../bin/logstash -f nginx_log.conf

访问nginx测试页面

查看redis服务中的键值,即可看到访问信息

至此测试成功,下次测试同时先转存redis,在转存到els,在前台kibana页面显示出来

到此这篇关于ELK配置转存redis缓存,采集nginx访问日志的文章就介绍到这了,更多相关ELK转存redis缓存内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

蓄力AI

微信公众号搜索 “ 脚本之家 ” ,选择关注

程序猿的那些事、送书等活动等着你

原文链接:https://blog.csdn.net/weixin_43819738/article/details/143335831

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若内容造成侵权/违法违规/事实不符,请将相关资料发送至 reterry123@163.com 进行投诉反馈,一经查实,立即处理!

相关文章

  • 深入理解redis分布式锁和消息队列

    深入理解redis分布式锁和消息队列

    本篇文章主要介绍了深入理解redis分布式锁和消息队列,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-07-07
  • Redis对批量数据实现分布式锁的实现代码

    Redis对批量数据实现分布式锁的实现代码

    为了防止多人多电脑同时操作一条数据,我们自己开发了一个简单的基于Redis实现的分布式锁,Redis对批量数据实现分布式锁相关知识感兴趣的朋友一起看看吧
    2022-03-03
  • spring boot集成redis基础入门实例详解

    spring boot集成redis基础入门实例详解

    redis在spring boot项目开发中是常用的缓存套件,常见使用的是spring-boot-starter-data-redis,这篇文章主要介绍了spring boot集成redis基础入门,本文结合实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2022-10-10
  • Redis连接超时异常的处理方法

    Redis连接超时异常的处理方法

    这篇文章主要给大家介绍了关于Redis连接超时异常的处理方法,文中通过示例代码以及图文介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧
    2020-07-07
  • redis加锁的三种方式小结

    redis加锁的三种方式小结

    本文主要介绍了redis加锁的三种方式小结,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2023-01-01
  • Redis中缓存预热与缓存穿透解决方案

    Redis中缓存预热与缓存穿透解决方案

    Redis缓存预热与缓存穿透是Redis缓存使用中的两个重要概念,文章首先介绍了Redis缓存预热和缓存穿透的基本概念,然后详细阐述了它们的产生原因和解决方案,感兴趣的可以了解一下
    2023-12-12
  • Redis key的过期时间和永久有效的实现

    Redis key的过期时间和永久有效的实现

    在Redis中,键可以设置过期时间或被永久保存,`EXPIRE`和`PEXPIRE`命令分别用于设置键的过期时间,具有一定的参考价值,感兴趣的可以了解一下
    2024-09-09
  • Redis面试必备之缓存设计规范与性能优化详解

    Redis面试必备之缓存设计规范与性能优化详解

    你是否在使用Redis时,不清楚Redis应该遵循的设计规范而苦恼,你是否在Redis出现性能问题时,不知道该如何优化而发愁,快跟随小编一起学习起来吧
    2024-03-03
  • K8S部署Redis(单机、集群)的超详细步骤

    K8S部署Redis(单机、集群)的超详细步骤

    redis是一款基于BSD协议,开源的非关系型数据库(nosql数据库)这篇文章主要给大家介绍了关于K8S部署Redis(单机、集群)的超详细步骤,文中通过代码介绍的非常详细,需要的朋友可以参考下
    2024-05-05
  • Redis中有序集合的内部实现方式的详细介绍

    Redis中有序集合的内部实现方式的详细介绍

    本文主要介绍了Redis中有序集合的内部实现方式的详细介绍,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2022-03-03

最新评论