nginx日志切割/分割之按天生成及定期删除日志
作者：zzhongcy
这篇文章主要给大家介绍了关于nginx日志切割/分割之按天生成及定期删除日志的相关资料,日志文件大会影响访问的速度和查找难度,文中给出了详细的代码示例,需要的朋友可以参考下
引言
问题：nginx会按照nginx.conf的配置生成access.log和error.log，随着访问量的增长，日志文件会越来越大，既会影响访问的速度(写入日志时间延长)，也会增加查找日志的难度，nginx没有这种按天或更细粒度生成日志的机制。所以下面介绍三种方法：
- 1.Nginx内部配置设置日志文件格式。(推荐方法1，map方式)
- 2.写脚本，通过定时任务按天重命名日志、重启nginx的方法实现（有重启失败的风险）
- 3.通过工具cronolog实现。
方法1
需要使用到 timeiso8601内嵌变量来获取时间。 time_iso8601 内嵌变量来获取时间。time iso8601内嵌变量来获取时间。time_iso8601格式如下：2018-09-21T16:01:02+02:00。然后使用正则表达式来获取所需时间的数据。
按天分割日志
配置在server段：
注意层次关系，这段脚本一定要加到server配置内部，且if要在access_log前面，否则set的变量将无法引用
if ($time_iso8601 ~ "^(\d{4})-(\d{2})-(\d{2})") {
set $year $1;
set $month $2;
set $day $3;
}
access_log /var/logs/xxxx/access/xxxxx_xx_access_$year-$month-$day.log main;查看日志是否生成：
[xx@xxx access]# ll xxxxx_xx_access_2018-09-21.log -rw-r--r-- 1 root root 408848 Sep 21 16:01 xxxxx_xx_access_2018-09-21.log
按小时、分、秒分割：
if ($time_iso8601 ~ "^(\d{4})-(\d{2})-(\d{2})T(\d{2}):(\d{2}):(\d{2})")
{
set $year $1;
set $month $2;
set $day $3;
set $hour $4;
set $minutes $5;
set $seconds $6;
}
access_log /var/logs/xxxx/access/xxxxx_xx_access_$year-$month-$day-hour-minutes-seconds.log main;在必要的时候可以按小时分割,方便日志分析。
上面的方法有两个问题：
- 一是如果
if条件不成立，那么$year、$month和$month这三个变量将不会被设置，那么日志将会记录到access-$year-$month-$day.log这个文件中； - 二是if只能出现在server和location块中，而access_log通常会配置到顶层的http块中，这时候if就不适用。
如果要在http块中设置access_log，更好的方法是使用map指令：
map $time_iso8601 $logdate {
'~^(?<ymd>\d{4}-\d{2}-\d{2})' $ymd;
default 'date-not-found';
}
access_log logs/access-$logdate.log main;map指令通过设置默认值，保证$logdate始终有值，并且可以出现在http块中，完美地解决了if指令的问题。
最后，为了提高日志的效率，建议配置open_log_file_cache，完整的日志分割配置如下：
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
map $time_iso8601 $logdate {
'~^(?<ymd>\d{4}-\d{2}-\d{2})' $ymd;
default 'date-not-found';
}
access_log logs/access-$logdate.log main;
open_log_file_cache max=10;但是缺点：每次请求都会进行map的正则表达式匹配，对性能有影响。
方法2
2：创建分割日志文件的脚本，添加定时任务
2.1.1写脚本：重命名日志文件、重启nginx
例如存放路径：/usr/local/nginx/sbin/cut_nginx_logs.sh,按天分割具体内容：
#!/bin/bash
#function:cut nginx log files
#set the path to nginx log files
log_files_path="/data/nginxlog/"
log_files_dir=${log_files_path}
#set nginx log files you want to cut
log_files_name=(access )
#set the path to nginx.
nginx_sbin="/usr/local/nginx/sbin/nginx"
#Set how long you want to save
save_days=30
############################################
#Please do not modify the following script #
############################################
#mkdir -p $log_files_dir
log_files_num=${#log_files_name[@]}
#cut nginx log files
for((i=0;i<$log_files_num;i++));do
mv ${log_files_path}${log_files_name[i]}.log ${log_files_dir}${log_files_name[i]}.log_$(date -d "yesterday" +"%Y-%m-%d")
done
#delete 30 days ago nginx log files
find $log_files_path -mtime +$save_days -exec rm -rf {} \;
#restart nginx
$nginx_sbin -s reload2.1.2.使用crontab添加定时任务
//打开定时任务 crontab -e //进入编辑模式 i //添加定时任务 00 00 * * * /bin/sh /usr/local/nginx/sbin/cut_nginx_logs.sh //保存退出 :wq！ //重启crontab服务 /etc/init.d/crond restart //查看定时任务,就会看到你添加的内容了 crontab -l
另外一个脚本格式：
2.2.1.编写脚本
#!/bin/bash
year=`date +%Y`
month=`date +%m`
day=`date +%d`
logs_backup_path="/usr/local/nginx/logs_backup/$year$month" #日志存储路径
logs_path="/usr/local/nginx/logs/" #要切割的日志路径
logs_access="access" #要切割的日志
logs_error="error"
pid_path="/usr/local/nginx/logs/nginx.pid" #nginx的pid
[ -d $logs_backup_path ]||mkdir -p $logs_backup_path
rq=`date +%Y%m%d`
#mv ${logs_path}${logs_access}.log ${logs_backup_path}/${logs_access}_${rq}.log
mv ${logs_path}${logs_error}.log ${logs_backup_path}/${logs_error}_${rq}.log
kill -USR1 $(cat /usr/local/nginx/logs/nginx.pid)2.2.2做定时任务
crontab –e 59 23 * * * bash /usr/local/nginx/shell/cut_ngnix_log.sh #每天23：59分开始执行；
方法3：通过cronolog工具实现
3.1 下载安装cronolog
3.1.1 下载：官网下载或我的百度云盘
3.1.2 安装
1.解压缩 # tar zxvf cronolog-1.6.2.tar.gz 2.进入安装文件所在目录 # cd cronolog-1.6.2 3.运行安装 # ./configure # make # make install 4.查看cronolog安装后所在目录（验证安装是否成功） # which cronolog 一般情况下显示为：/usr/local/sbin/cronolog
3.2 使用cronolog
3.2.1.创建命名管道
mkfifo /usr/local/nginx/access_log_pipe
3.2.2 配置cronolog,日期按天
如果按小时使用access_%Y-%m-%d-%H.log;如果按分钟使用access_%Y-%m-%d-%H-%M.log
3.2.3 修改配置/usr/local/nginx/conf/nginx.conf
... access_log /usr/local/nginx/access_log_pipe main; ... nohup cat /usr/local/nginx/access_log_pipe | /usr/local/sbin/cronolog /usr/local/nginx/logs/access-%Y-%m-%d.log &
3.2.4 重启nginx
cd /usr/local/nginx/sbin ./nginx -s reload
3.2.5 查看效果
[root@app2 /]# cd /usr/local/nginx/logs/ [root@app2 logs]# ll total 3544 -rw-r--r-- 1 root root 0 Oct 1 07:20 8099.access.log -rw-r--r-- 1 root root 3599534 Oct 1 07:58 access-2016-10-01.log -rw-r--r-- 1 root root 235 Oct 1 07:20 error.log -rw-r--r-- 1 root root 5 Oct 1 06:34 nginx.pid
3.3 定期删除日志
3.3.1 新建sh,删除5天前的
[root@app2 sh]# pwd /usr/local/nginx/sh [root@app2 sh]# vi delete_nginx_logs.sh
添加内容
#set the path to nginx log files
log_files_path="/usr/local/nginx/logs/"
save_days=5
#delete ? days ago nginx log files
find $log_files_path -mtime +$save_days -exec rm -rf {} \;3.3.2 添加定时任务
[root@localhost sh]# crontab -e 00 00 * * * /bin/sh /usr/local/nginx/sh/delete_nginx_logs.sh
3.4Tomcat按天切割catalina.out
安装cronolog后，修改tomcat/bin/catalina.sh中一下内容，注意找到准确信息，2处。
原内容：
org.apache.catalina.startup.Bootstrap "$@" start \ >> "$CATALINA_OUT" 2>&1 "&" 修改为：注意换行后顶格，否则启动报错。 org.apache.catalina.startup.Bootstrap "$@" start 2>&1 \ | /usr/local/sbin/cronolog "$CATALINA_BASE"/logs/catalina.%Y-%m-%d.out >> /dev/null &
修改后按之前方式启动./startup.sh即可看到logs目录下生成当前日期文件
catalina.2018-10-11.out
-rw-rw-r-- 1 root root 0 Oct 11 15:16 catalina.out -rw-rw-r-- 1 root root 0 Oct 11 15:16 manager.2018-10-11.log -rw-rw-r-- 1 root root 0 Oct 11 15:16 host-manager.2018-10-11.log -rw-rw-r-- 1 root root 584 Oct 11 15:16 localhost.2018-10-11.log -rw-rw-r-- 1 root root 1646 Oct 11 15:16 catalina.2018-10-11.log -rw-rw-r-- 1 root root 29143 Oct 11 15:16 catalina.2018-10-11.out
总结
到此这篇关于nginx日志切割/分割之按天生成及定期删除日志的文章就介绍到这了,更多相关nginx按天生成定期删除日志内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！