Golang

关注公众号 jb51net

关闭
首页 > 脚本专栏 > Golang > golang框架gin的日志处理和zap lumberjack日志使用

golang框架gin的日志处理和zap lumberjack日志使用方式

作者:可以吧可以吧

这篇文章主要介绍了golang框架gin的日志处理和zap lumberjack日志使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教

gin框架好用,轮子也多,我也来丰富下内容,golang框架gin的日志处理和zap lumberjack日志使用

gin自带日志

新建logger.go

package logs
 
import (
	"fmt"
	"github.com/gin-gonic/gin"
	rotatelogs "github.com/lestrrat-go/file-rotatelogs"
	"github.com/rifflock/lfshook"
	"github.com/sirupsen/logrus"
	"os"
	"runtime"
	"time"
	"upload/config"
)
 
var ostype = runtime.GOOS
 
// 日志记录到文件
func LoggerToFile() gin.HandlerFunc {
	logFileName := config.LOG_FILE_NAME
	fileName := config.LOG_FILE_PATH_LINUX + "/" + logFileName
 
	if ostype == "windows" {
		fileName = config.LOG_FILE_PATH_WIN + "\\" + logFileName
	} else if ostype == "linux" {
		fileName = config.LOG_FILE_PATH_LINUX + "/" + logFileName
	}
 
	 日志文件
	//fileName := path.Join(logFilePath, logFileName)
 
	// 写入文件
	src, err := os.OpenFile(fileName, os.O_APPEND|os.O_WRONLY, os.ModeAppend)
	if err != nil {
		fmt.Println("loggerToFile err==>", err)
	}
 
	// 实例化
	logger := logrus.New()
 
	// 设置输出
	logger.Out = src
 
	// 设置日志级别
	logger.SetLevel(logrus.DebugLevel)
 
	// 设置 rotatelogs
	logWriter, err := rotatelogs.New(
		// 分割后的文件名称
		fileName+".%Y%m%d.log",
 
		// 生成软链,指向最新日志文件
		rotatelogs.WithLinkName(fileName),
 
		// 设置最大保存时间(7天)
		rotatelogs.WithMaxAge(7*24*time.Hour),
 
		// 设置日志切割时间间隔(1天)
		rotatelogs.WithRotationTime(24*time.Hour),
	)
 
	writeMap := lfshook.WriterMap{
		logrus.InfoLevel:  logWriter,
		logrus.FatalLevel: logWriter,
		logrus.DebugLevel: logWriter,
		logrus.WarnLevel:  logWriter,
		logrus.ErrorLevel: logWriter,
		logrus.PanicLevel: logWriter,
	}
 
	lfHook := lfshook.NewHook(writeMap, &logrus.JSONFormatter{
		TimestampFormat: "2006-01-02 15:04:05",
	})
 
	// 新增钩子
	logger.AddHook(lfHook)
 
	return func(c *gin.Context) {
		// 开始时间
		startTime := time.Now()
 
		// 处理请求
		c.Next()
 
		// 结束时间
		endTime := time.Now()
 
		// 执行时间
		latencyTime := endTime.Sub(startTime)
 
		// 请求方式
		reqMethod := c.Request.Method
 
		// 请求路由
		reqUri := c.Request.RequestURI
 
		// 状态码
		statusCode := c.Writer.Status()
 
		// 请求IP
		clientIP := c.ClientIP()
 
		// 日志格式
		logger.WithFields(logrus.Fields{
			"status_code":  statusCode,
			"latency_time": latencyTime,
			"client_ip":    clientIP,
			"req_method":   reqMethod,
			"req_uri":      reqUri,
		}).Info()
	}
}
 
// 日志记录到 MongoDB
func LoggerToMongo() gin.HandlerFunc {
	return func(c *gin.Context) {
 
	}
}
 
// 日志记录到 ES
func LoggerToES() gin.HandlerFunc {
	return func(c *gin.Context) {
 
	}
}
 
// 日志记录到 MQ
func LoggerToMQ() gin.HandlerFunc {
	return func(c *gin.Context) {
 
	}
}

mian.go 引用

engine.Use(middleware.LoggerToFile())

配置config/config.go

package config
const (
	//[log]
	LOG_FILE_PATH_LINUX = "/home/data/logs/upload/logs"
	LOG_FILE_PATH_WIN   = "\\home\\data\\logs\\upload\\logs\\"
	LOG_FILE_NAME       = "system.log"
)
 
var config = new(Config)
 
 
func Get() Config {
	return *config
}

zap lumberjack接管gin日志

新建logger.go

package logs
 
import (
	"github.com/gin-gonic/gin"
	"github.com/natefinch/lumberjack"
	"go.uber.org/zap"
	"go.uber.org/zap/zapcore"
	"net"
	"net/http/httputil"
	"os"
	"runtime/debug"
	"strings"
	"time"
)
 
// 1 定义一下logger使用的常量
const (
	mode     = "dev"                   //开发模式
	filename = "logs/logs.log" // 日志存放路径
	//level       = "debug"       // 日志级别
	level       = zapcore.DebugLevel // 日志级别
	max_size    = 200                //最大存储大小
	max_age     = 30                 //最大存储时间
	max_backups = 7                  //#备份数量
)
 
// 2 初始化Logger对象
func InitLogger() (err error) {
	// 创建Core三大件,进行初始化
	writeSyncer := getLogWriter(filename, max_size, max_backups, max_age)
	encoder := getEncoder()
	// 创建核心-->如果是dev模式,就在控制台和文件都打印,否则就只写到文件中
	var core zapcore.Core
	if mode == "dev" {
		// 开发模式,日志输出到终端
		consoleEncoder := zapcore.NewConsoleEncoder(zap.NewDevelopmentEncoderConfig())
		// NewTee创建一个核心,将日志条目复制到两个或多个底层核心中。
		core = zapcore.NewTee(
			zapcore.NewCore(encoder, writeSyncer, level),
			zapcore.NewCore(consoleEncoder, zapcore.Lock(os.Stdout), level),
		)
	} else {
		core = zapcore.NewCore(encoder, writeSyncer, level)
	}
 
	//core := zapcore.NewCore(encoder, writeSyncer, level)
	// 创建 logger 对象
	log := zap.New(core, zap.AddCaller())
	// 替换全局的 logger, 后续在其他包中只需使用zap.L()调用即可
	zap.ReplaceGlobals(log)
	return
}
 
// 获取Encoder,给初始化logger使用的
func getEncoder() zapcore.Encoder {
	// 使用zap提供的 NewProductionEncoderConfig
	encoderConfig := zap.NewProductionEncoderConfig()
	// 设置时间格式
	encoderConfig.EncodeTime = zapcore.ISO8601TimeEncoder
	// 时间的key
	encoderConfig.TimeKey = "time"
	// 级别
	encoderConfig.EncodeLevel = zapcore.CapitalLevelEncoder
	// 显示调用者信息
	encoderConfig.EncodeCaller = zapcore.ShortCallerEncoder
	// 返回json 格式的 日志编辑器
	return zapcore.NewJSONEncoder(encoderConfig)
}
 
// 获取切割的问题,给初始化logger使用的
func getLogWriter(filename string, maxSize, maxBackup, maxAge int) zapcore.WriteSyncer {
	// 使用 lumberjack 归档切片日志
	lumberJackLogger := &lumberjack.Logger{
		Filename:   filename,
		MaxSize:    maxSize,
		MaxBackups: maxBackup,
		MaxAge:     maxAge,
	}
	return zapcore.AddSync(lumberJackLogger)
}
 
// GinLogger 用于替换gin框架的Logger中间件,不传参数,直接这样写
func GinLogger(c *gin.Context) {
	logger := zap.L()
	start := time.Now()
	path := c.Request.URL.Path
	query := c.Request.URL.RawQuery
	c.Next() // 执行视图函数
	// 视图函数执行完成,统计时间,记录日志
	cost := time.Since(start)
	logger.Info(path,
		zap.Int("status", c.Writer.Status()),
		zap.String("method", c.Request.Method),
		zap.String("path", path),
		zap.String("query", query),
		zap.String("ip", c.ClientIP()),
		zap.String("user-agent", c.Request.UserAgent()),
		zap.String("errors", c.Errors.ByType(gin.ErrorTypePrivate).String()),
		zap.Duration("cost", cost),
	)
 
}
 
// GinRecovery 用于替换gin框架的Recovery中间件,因为传入参数,再包一层
func GinRecovery(stack bool) gin.HandlerFunc {
	logger := zap.L()
	return func(c *gin.Context) {
		defer func() {
			// defer 延迟调用,出了异常,处理并恢复异常,记录日志
			if err := recover(); err != nil {
				//  这个不必须,检查是否存在断开的连接(broken pipe或者connection reset by peer)---------开始--------
				var brokenPipe bool
				if ne, ok := err.(*net.OpError); ok {
					if se, ok := ne.Err.(*os.SyscallError); ok {
						if strings.Contains(strings.ToLower(se.Error()), "broken pipe") || strings.Contains(strings.ToLower(se.Error()), "connection reset by peer") {
							brokenPipe = true
						}
					}
				}
				//httputil包预先准备好的DumpRequest方法
				httpRequest, _ := httputil.DumpRequest(c.Request, false)
				if brokenPipe {
					logger.Error(c.Request.URL.Path,
						zap.Any("error", err),
						zap.String("request", string(httpRequest)),
					)
					// 如果连接已断开,我们无法向其写入状态
					c.Error(err.(error))
					c.Abort()
					return
				}
				//  这个不必须,检查是否存在断开的连接(broken pipe或者connection reset by peer)---------结束--------
 
				// 是否打印堆栈信息,使用的是debug.Stack(),传入false,在日志中就没有堆栈信息
				if stack {
					logger.Error("[Recovery from panic]",
						zap.Any("error", err),
						zap.String("request", string(httpRequest)),
						zap.String("stack", string(debug.Stack())),
					)
				} else {
					logger.Error("[Recovery from panic]",
						zap.Any("error", err),
						zap.String("request", string(httpRequest)),
					)
				}
				// 有错误,直接返回给前端错误,前端直接报错
				//c.AbortWithStatus(http.StatusInternalServerError)
				// 该方式前端不报错
				c.String(200, "访问出错了")
			}
		}()
		c.Next()
	}
}

main.go 调用

	r := gin.New()
	// 初始化logger
	middleware.InitLogger()
	// 两个中间件加入gin中
	r.Use(middleware.GinLogger, middleware.GinRecovery(true))

就可以看到日志了

2022-10-20T14:56:04.998+0800    INFO    middleware/logger.go:92 /ping   {"appid": "", "status": 200, "method": "GET", "path": "/ping", "query": "aa=1", "ip": "127.0.0.1", "user-agent": "PostmanRuntime/7.29.2", "errors": "", "cost":
"0s"}

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。

您可能感兴趣的文章:
阅读全文