python通用日志使用小结
作者：面向未来的历史
日志则是程序中非常重要的一部分,它可以记录程序运行中的异常、警告等信息,方便开发人员调试程序,本文就来介绍一下python通用日志使用小结,感兴趣的可以了解一下
环境： python 3.10.x
背景
最近在进行数据处理方面的事。 对爬虫，数据处理任务加日志， 便于知晓任务是否正确执行以及发生的错误。
日志模块
spider_log.py
import logging
from logging.handlers import TimedRotatingFileHandler
import os
cwd = os.path.dirname(os.path.abspath(__file__))
log_path = os.path.join(cwd, "logs")
if not os.path.exists(log_path):
os.mkdir(log_path)
logger = logging.getLogger()
logger.setLevel(logging.INFO)
ch = logging.StreamHandler()
#fh = logging.handlers.RotatingFileHandler(log_path, encoding='utf-8', mode="a", maxBytes =30*1024*1024, backupCount =10)
fh = TimedRotatingFileHandler(filename= os.path.join(log_path, "spider.log"), when='midnight', backupCount=30)
fh.suffix = "%Y-%m-%d.log"
fh.encoding = "utf-8"
formatter = logging.Formatter(
"%(asctime)s - %(module)s - %(funcName)s - line:%(lineno)d - %(levelname)s - %(message)s"
)
ch.setFormatter(formatter)
fh.setFormatter(formatter)
logger.addHandler(ch) #将日志输出至屏幕
logger.addHandler(fh) #将日志输出至文件此处， 设置日志按照时间滚动保存， 每天一个日志文件。最多保留30天日志文件。
日志使用
1、import 日志模块
2、添加日志记录
test.py
from spider_log import logger
import logging
import json
logger.log(msg=json.dumps({"Task":"product-spider","url":"https://example.com"}), level=logging.INFO)
logger.log(msg="Exception: timeout 10s" , level=logging.ERROR)说明：
有关日志的更多使用方法， 请查阅 python logging 的使用文档。此处只是个人笔记记录。
到此这篇关于python通用日志使用小结的文章就介绍到这了,更多相关python通用日志内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！