python中的日志文件按天分割
作者：城先生的小白之路
这篇文章主要介绍了python中的日志文件按天分割方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
python日志文件按天分割
在服务器的使用过程中，我经常会有长时间运行的服务，那么为了方便我们查看日志，所以会产生每天都能新建一个新的日志文件的需求，其实这个问题很简单，只需要使用python的logging库的handlers模块的TimedRotatingFileHandler类即可
话不多说，上代码，边看代码边解释
# #coding=utf-8
import logging,os # 引入logging模块
from com_tools import setting
from logging import handlers
class Logger(object):
level_relations = {
'debug':logging.DEBUG,
'info':logging.INFO,
'warning':logging.WARNING,
'error':logging.ERROR,
'crit':logging.CRITICAL
}#日志级别关系映射
def __init__(self,filename,level='info',when='MIDNIGHT',backCount=7,fmt='%(asctime)s - %(pathname)s[line:%(lineno)d] - %(levelname)s: %(message)s'):
self.logger = logging.getLogger(filename)
format_str = logging.Formatter(fmt)#设置日志格式
self.logger.setLevel(self.level_relations.get(level))#设置日志级别
sh = logging.StreamHandler()#往控制台输出
sh.setFormatter(format_str) #设置控制台上显示的格式
th = handlers.TimedRotatingFileHandler(filename=filename,interval=1,when=when,backupCount=backCount,encoding='utf-8')#往文件里写入#指定间隔时间自动生成文件的处理器
#实例化TimedRotatingFileHandler
#interval是时间间隔，backupCount是备份文件的个数，如果超过这个个数，就会自动删除，when是间隔的时间单位，单位有以下几种：
# S 秒
# M 分
# H 小时、
# D 天、
# W 每星期（interval==0时代表星期一）
# midnight 每天凌晨
th.suffix = "%Y-%m-%d.log" #设置文件后缀
th.setFormatter(format_str)#设置文件里写入的格式
self.logger.addHandler(sh) #把对象加到logger里
self.logger.addHandler(th)
logfile = os.path.join(setting.logs_path, "daodianmockapi.txt") # 这个文件的名称就是当天的日志文件，过往的日志文件，会在后面追加文件后缀 th.suffix
logger = Logger(logfile,level='debug')
if __name__ == '__main__':
#logger = Logger('all.log',level='debug')
# filename = setting.now_time+ ".txt"
# logfile = os.path.join(setting.logs_path,filename)
# logger = Logger(logfile,level='debug')
logger.logger.debug('debug') # 括号内的内容即为日志的文本内容
logger.logger.info('info')
logger.logger.warning('警告')
logger.logger.error('报错')
logger.logger.critical('严重')
#Logger('error.log', level='error').logger.error('error')日志分解分割效果
注意：
整个flask框架写mock接口就到这里结束了，后面应该是写Django的学习了
python切割大日志文件几种方式
工作线上报错了，找运维下载了线上的日志文件排查问题，但是日志文件太大了，没办法用NotePad++打开，于是乎想着要切割一下日志文件
方法一：指定目标文件数量分割
import os
# 要分割的文件
sourceFileName = 'normal-app.log'
# 分割的文件个数
fileNum = 10
def cutFile():
print("正在读取文件...")
sourceFileData = open(sourceFileName, 'r', encoding='utf-8')
ListOfLine = sourceFileData.read().splitlines() # 将读取的文件内容按行分割，然后存到一个列表中
totalLine = len(ListOfLine)
print("文件共有" + str(totalLine) + "行")
print("请输入需要将文件分割的个数:")
p = totalLine//fileNum + 1
print("需要将文件分成"+str(fileNum)+"个子文件")
print("每个文件最多有"+str(p)+"行")
print("开始进行分割···")
for i in range(fileNum):
destFileName = os.path.splitext(sourceFileName)[
0] + "_" + str(i + 1)+".log"
print("正在生成子文件" + destFileName)
destFileData = open(destFileName, "w", encoding='utf-8')
if(i == fileNum-1):
for line in ListOfLine[i*p:]:
destFileData.write(line+'\n')
else:
for line in ListOfLine[i*p:(i+1)*p]:
destFileData.write(line+'\n')
destFileData.close()
print("分割完成")
if __name__ == '__main__':
cutFile()方法二：指定文件大小分割
这种方法是按照大小分割文件，会存在同一行被分割在两个文件中的情况
import os
filename = "normal-app.log" # 需要进行分割的文件
size = 10000000 # 分割大小10M
def createSubFile(srcName, sub, buf):
[des_filename, extname] = os.path.splitext(srcName)
filename = des_filename + '_' + str(sub) + extname
print('正在生成子文件: %s' % filename)
with open(filename, 'wb') as fout:
fout.write(buf)
return sub+1
def cutFile(filename, size):
with open(filename, 'rb') as fin:
buf = fin.read(size)
sub = 1
while len(buf) > 0:
sub = createSubFile(filename, sub, buf)
buf = fin.read(size)
print("ok")
if __name__ == "__main__":
cutFile(filename, size)方法三：指定目标行数分割
import os
# 要分割的文件
sourceFileName = 'normal-app.log'
# 定义分割的行数
lineNum = 100000
def cutFile():
print("正在读取文件...")
sourceFileData = open(sourceFileName, 'r', encoding='utf-8')
ListOfLine = sourceFileData.read().splitlines() # 将读取的文件内容按行分割，然后存到一个列表中
totalLine = len(ListOfLine)
print("文件共有" + str(totalLine) + "行")
print("请输入需要将文件分割的个数:")
fileNum = totalLine//lineNum + 1
print("需要将文件分成"+str(fileNum)+"个子文件")
print("开始进行分割···")
for i in range(fileNum):
destFileName = os.path.splitext(sourceFileName)[
0] + "_" + str(i + 1)+".log"
print("正在生成子文件" + destFileName)
destFileData = open(destFileName, "w", encoding='utf-8')
if(i == fileNum-1):
for line in ListOfLine[i*lineNum:]:
destFileData.write(line+'\n')
else:
for line in ListOfLine[i*lineNum:(i+1)*lineNum]:
destFileData.write(line+'\n')
destFileData.close()
print("分割完成")
if __name__ == '__main__':
cutFile()总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。