golang框架gin的日志处理和zap lumberjack日志使用方式
作者:可以吧可以吧
这篇文章主要介绍了golang框架gin的日志处理和zap lumberjack日志使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教
gin框架好用,轮子也多,我也来丰富下内容,golang框架gin的日志处理和zap lumberjack日志使用
gin自带日志
新建logger.go
package logs import ( "fmt" "github.com/gin-gonic/gin" rotatelogs "github.com/lestrrat-go/file-rotatelogs" "github.com/rifflock/lfshook" "github.com/sirupsen/logrus" "os" "runtime" "time" "upload/config" ) var ostype = runtime.GOOS // 日志记录到文件 func LoggerToFile() gin.HandlerFunc { logFileName := config.LOG_FILE_NAME fileName := config.LOG_FILE_PATH_LINUX + "/" + logFileName if ostype == "windows" { fileName = config.LOG_FILE_PATH_WIN + "\\" + logFileName } else if ostype == "linux" { fileName = config.LOG_FILE_PATH_LINUX + "/" + logFileName } 日志文件 //fileName := path.Join(logFilePath, logFileName) // 写入文件 src, err := os.OpenFile(fileName, os.O_APPEND|os.O_WRONLY, os.ModeAppend) if err != nil { fmt.Println("loggerToFile err==>", err) } // 实例化 logger := logrus.New() // 设置输出 logger.Out = src // 设置日志级别 logger.SetLevel(logrus.DebugLevel) // 设置 rotatelogs logWriter, err := rotatelogs.New( // 分割后的文件名称 fileName+".%Y%m%d.log", // 生成软链,指向最新日志文件 rotatelogs.WithLinkName(fileName), // 设置最大保存时间(7天) rotatelogs.WithMaxAge(7*24*time.Hour), // 设置日志切割时间间隔(1天) rotatelogs.WithRotationTime(24*time.Hour), ) writeMap := lfshook.WriterMap{ logrus.InfoLevel: logWriter, logrus.FatalLevel: logWriter, logrus.DebugLevel: logWriter, logrus.WarnLevel: logWriter, logrus.ErrorLevel: logWriter, logrus.PanicLevel: logWriter, } lfHook := lfshook.NewHook(writeMap, &logrus.JSONFormatter{ TimestampFormat: "2006-01-02 15:04:05", }) // 新增钩子 logger.AddHook(lfHook) return func(c *gin.Context) { // 开始时间 startTime := time.Now() // 处理请求 c.Next() // 结束时间 endTime := time.Now() // 执行时间 latencyTime := endTime.Sub(startTime) // 请求方式 reqMethod := c.Request.Method // 请求路由 reqUri := c.Request.RequestURI // 状态码 statusCode := c.Writer.Status() // 请求IP clientIP := c.ClientIP() // 日志格式 logger.WithFields(logrus.Fields{ "status_code": statusCode, "latency_time": latencyTime, "client_ip": clientIP, "req_method": reqMethod, "req_uri": reqUri, }).Info() } } // 日志记录到 MongoDB func LoggerToMongo() gin.HandlerFunc { return func(c *gin.Context) { } } // 日志记录到 ES func LoggerToES() gin.HandlerFunc { return func(c *gin.Context) { } } // 日志记录到 MQ func LoggerToMQ() gin.HandlerFunc { return func(c *gin.Context) { } }
mian.go 引用
engine.Use(middleware.LoggerToFile())
配置config/config.go
package config const ( //[log] LOG_FILE_PATH_LINUX = "/home/data/logs/upload/logs" LOG_FILE_PATH_WIN = "\\home\\data\\logs\\upload\\logs\\" LOG_FILE_NAME = "system.log" ) var config = new(Config) func Get() Config { return *config }
zap lumberjack接管gin日志
新建logger.go
package logs import ( "github.com/gin-gonic/gin" "github.com/natefinch/lumberjack" "go.uber.org/zap" "go.uber.org/zap/zapcore" "net" "net/http/httputil" "os" "runtime/debug" "strings" "time" ) // 1 定义一下logger使用的常量 const ( mode = "dev" //开发模式 filename = "logs/logs.log" // 日志存放路径 //level = "debug" // 日志级别 level = zapcore.DebugLevel // 日志级别 max_size = 200 //最大存储大小 max_age = 30 //最大存储时间 max_backups = 7 //#备份数量 ) // 2 初始化Logger对象 func InitLogger() (err error) { // 创建Core三大件,进行初始化 writeSyncer := getLogWriter(filename, max_size, max_backups, max_age) encoder := getEncoder() // 创建核心-->如果是dev模式,就在控制台和文件都打印,否则就只写到文件中 var core zapcore.Core if mode == "dev" { // 开发模式,日志输出到终端 consoleEncoder := zapcore.NewConsoleEncoder(zap.NewDevelopmentEncoderConfig()) // NewTee创建一个核心,将日志条目复制到两个或多个底层核心中。 core = zapcore.NewTee( zapcore.NewCore(encoder, writeSyncer, level), zapcore.NewCore(consoleEncoder, zapcore.Lock(os.Stdout), level), ) } else { core = zapcore.NewCore(encoder, writeSyncer, level) } //core := zapcore.NewCore(encoder, writeSyncer, level) // 创建 logger 对象 log := zap.New(core, zap.AddCaller()) // 替换全局的 logger, 后续在其他包中只需使用zap.L()调用即可 zap.ReplaceGlobals(log) return } // 获取Encoder,给初始化logger使用的 func getEncoder() zapcore.Encoder { // 使用zap提供的 NewProductionEncoderConfig encoderConfig := zap.NewProductionEncoderConfig() // 设置时间格式 encoderConfig.EncodeTime = zapcore.ISO8601TimeEncoder // 时间的key encoderConfig.TimeKey = "time" // 级别 encoderConfig.EncodeLevel = zapcore.CapitalLevelEncoder // 显示调用者信息 encoderConfig.EncodeCaller = zapcore.ShortCallerEncoder // 返回json 格式的 日志编辑器 return zapcore.NewJSONEncoder(encoderConfig) } // 获取切割的问题,给初始化logger使用的 func getLogWriter(filename string, maxSize, maxBackup, maxAge int) zapcore.WriteSyncer { // 使用 lumberjack 归档切片日志 lumberJackLogger := &lumberjack.Logger{ Filename: filename, MaxSize: maxSize, MaxBackups: maxBackup, MaxAge: maxAge, } return zapcore.AddSync(lumberJackLogger) } // GinLogger 用于替换gin框架的Logger中间件,不传参数,直接这样写 func GinLogger(c *gin.Context) { logger := zap.L() start := time.Now() path := c.Request.URL.Path query := c.Request.URL.RawQuery c.Next() // 执行视图函数 // 视图函数执行完成,统计时间,记录日志 cost := time.Since(start) logger.Info(path, zap.Int("status", c.Writer.Status()), zap.String("method", c.Request.Method), zap.String("path", path), zap.String("query", query), zap.String("ip", c.ClientIP()), zap.String("user-agent", c.Request.UserAgent()), zap.String("errors", c.Errors.ByType(gin.ErrorTypePrivate).String()), zap.Duration("cost", cost), ) } // GinRecovery 用于替换gin框架的Recovery中间件,因为传入参数,再包一层 func GinRecovery(stack bool) gin.HandlerFunc { logger := zap.L() return func(c *gin.Context) { defer func() { // defer 延迟调用,出了异常,处理并恢复异常,记录日志 if err := recover(); err != nil { // 这个不必须,检查是否存在断开的连接(broken pipe或者connection reset by peer)---------开始-------- var brokenPipe bool if ne, ok := err.(*net.OpError); ok { if se, ok := ne.Err.(*os.SyscallError); ok { if strings.Contains(strings.ToLower(se.Error()), "broken pipe") || strings.Contains(strings.ToLower(se.Error()), "connection reset by peer") { brokenPipe = true } } } //httputil包预先准备好的DumpRequest方法 httpRequest, _ := httputil.DumpRequest(c.Request, false) if brokenPipe { logger.Error(c.Request.URL.Path, zap.Any("error", err), zap.String("request", string(httpRequest)), ) // 如果连接已断开,我们无法向其写入状态 c.Error(err.(error)) c.Abort() return } // 这个不必须,检查是否存在断开的连接(broken pipe或者connection reset by peer)---------结束-------- // 是否打印堆栈信息,使用的是debug.Stack(),传入false,在日志中就没有堆栈信息 if stack { logger.Error("[Recovery from panic]", zap.Any("error", err), zap.String("request", string(httpRequest)), zap.String("stack", string(debug.Stack())), ) } else { logger.Error("[Recovery from panic]", zap.Any("error", err), zap.String("request", string(httpRequest)), ) } // 有错误,直接返回给前端错误,前端直接报错 //c.AbortWithStatus(http.StatusInternalServerError) // 该方式前端不报错 c.String(200, "访问出错了") } }() c.Next() } }
main.go 调用
r := gin.New() // 初始化logger middleware.InitLogger() // 两个中间件加入gin中 r.Use(middleware.GinLogger, middleware.GinRecovery(true))
就可以看到日志了
2022-10-20T14:56:04.998+0800 INFO middleware/logger.go:92 /ping {"appid": "", "status": 200, "method": "GET", "path": "/ping", "query": "aa=1", "ip": "127.0.0.1", "user-agent": "PostmanRuntime/7.29.2", "errors": "", "cost":
"0s"}
总结
以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。