Golang

关注公众号 jb51net

关闭
首页 > 脚本专栏 > Golang > Go Viper多环境配置

Go中Viper多环境配置实现

作者:白话机器学习

本篇讲解Go语言Viper配置库实战,涵盖yaml、json、env多格式读取、多环境配置覆盖策略、WatchConfig配置热更新及环境变量绑定结构体,感兴趣的可以了解一下

本篇讲解Go语言Viper配置库实战,涵盖yaml/json/env多格式读取、多环境配置覆盖策略、WatchConfig配置热更新、环境变量注入与绑定结构体,分享配置优先级混乱导致线上数据库密码被环境变量覆盖的踩坑经历,对比Viper、koanf、envconfig三种方案。

开篇故事

去年我们组有个支付服务,部署在测试、预发、生产三套环境。开发同学改配置直接改yaml文件,测试环境改完提交,合并到预发又改一遍,合并到生产再改一遍。三个环境三份配置文件,经常出现预发漏改某个参数,到生产才发现数据库地址还是预发的。

有一天晚上上线,运维同学手动改了生产的数据库地址,改完没重启服务,结果服务还在连测试库。我们排查了20分钟才发现配置改了但没生效,必须重启服务才行。那次之后我下定决心把配置管理用Viper重做一遍。

这篇我把Viper的多环境配置、配置热更新、环境变量注入讲清楚,重点说说配置优先级的坑。

一、Viper读取多种格式配置

Viper支持yaml、json、toml、properties等多种格式,还可以从环境变量、命令行参数、远程配置中心读取。先看一个最常用的yaml读取例子。

package main

import (
	"fmt"
	"log"

	"github.com/spf13/viper"
)

// AppConfig 应用配置结构体
// mapstructure标签把yaml字段名映射到结构体字段
type AppConfig struct {
	Server   ServerConfig   `mapstructure:"server"`
	Database DatabaseConfig `mapstructure:"database"`
	Redis    RedisConfig    `mapstructure:"redis"`
}

// ServerConfig 服务配置
type ServerConfig struct {
	Port    int `mapstructure:"port"`     // 监听端口
	Timeout int `mapstructure:"timeout"`  // 请求超时秒数
}

// DatabaseConfig 数据库配置
type DatabaseConfig struct {
	Host        string `mapstructure:"host"`
	Port        int    `mapstructure:"port"`
	Name        string `mapstructure:"name"`
	Username    string `mapstructure:"username"`
	Password    string `mapstructure:"password"`
	MaxOpenConn int    `mapstructure:"max_open_conn"` // 最大连接数
}

// RedisConfig 缓存配置
type RedisConfig struct {
	Host     string `mapstructure:"host"`
	Port     int    `mapstructure:"port"`
	Password string `mapstructure:"password"`
}

// LoadConfig 从指定路径加载yaml配置
func LoadConfig(path string) (*AppConfig, error) {
	v := viper.New()
	// 设置配置文件路径
	v.SetConfigFile(path)
	// 指定配置类型,也可根据后缀自动识别
	v.SetConfigType("yaml")

	// 读取配置文件内容
	if err := v.ReadInConfig(); err != nil {
		return nil, fmt.Errorf("读取配置失败: %w", err)
	}

	var cfg AppConfig
	// 把map结构反序列化到结构体
	if err := v.Unmarshal(&cfg); err != nil {
		return nil, fmt.Errorf("解析配置失败: %w", err)
	}
	return &cfg, nil
}

func main() {
	cfg, err := LoadConfig("config.yaml")
	if err != nil {
		log.Fatalf("加载配置失败: %v", err)
	}
	// 打印数据库地址验证
	fmt.Printf("数据库: %s:%d/%s\n",
		cfg.Database.Host, cfg.Database.Port, cfg.Database.Name)
}

配套的yaml文件如下。

# config.yaml
server:
  port: 8080
  timeout: 30
database:
  host: 127.0.0.1
  port: 3306
  name: myapp
  username: root
  password: "123456"
  max_open_conn: 20
redis:
  host: 127.0.0.1
  port: 6379
  password: ""

二、多环境配置覆盖

实际项目里一套代码跑多个环境,测试环境数据库地址和生产不一样,怎么管理。Viper用配置覆盖解决,先加载基础配置,再用环境专属配置覆盖。

package main

import (
	"fmt"
	"log"
	"strings"

	"github.com/spf13/viper"
)

// LoadConfigByEnv 按环境加载配置
// base: 基础配置路径,如config/base.yaml
// env: 环境名,如dev/test/prod
func LoadConfigByEnv(base, env string) (*viper.Viper, error) {
	v := viper.New()
	// 读取基础配置,所有环境共享
	v.SetConfigFile(base)
	if err := v.ReadInConfig(); err != nil {
		return nil, fmt.Errorf("读取基础配置失败: %w", err)
	}

	// 读取环境专属配置,覆盖基础配置
	envFile := fmt.Sprintf("config/%s.yaml", env)
	v.SetConfigFile(envFile)
	// MergeInConfig把新配置合并到已有配置,同名字段被覆盖
	if err := v.MergeInConfig(); err != nil {
		// 环境配置不存在不报错,用基础配置
		log.Printf("环境配置不存在: %s", envFile)
	}
	return v, nil
}

// LoadConfigWithEnvOverride 另一种写法
// 用SetConfigName加环境后缀
func LoadConfigWithEnvOverride(env string) (*viper.Viper, error) {
	v := viper.New()
	// 配置文件名格式config-dev.yaml
	v.SetConfigName(fmt.Sprintf("config-%s", env))
	v.SetConfigType("yaml")
	v.AddConfigPath("./config")
	v.AddConfigPath(".")

	if err := v.ReadInConfig(); err != nil {
		return nil, fmt.Errorf("读取配置失败: %w", err)
	}
	return v, nil
}

// BindEnv 绑定环境变量
// 把DB_HOST环境变量绑定到database.host配置项
func BindEnv(v *viper.Viper) {
	// 自动读取所有环境变量,前缀APP
	v.SetEnvPrefix("APP")
	// 把环境变量里的点替换成下划线
	v.SetEnvKeyReplacer(strings.NewReplacer(".", "_"))
	v.AutomaticEnv()

	// 也可以显式绑定单个环境变量
	// 把DB_HOST绑定到database.host
	v.BindEnv("database.host", "DB_HOST")
	v.BindEnv("database.password", "DB_PASSWORD")
}

func main() {
	v, err := LoadConfigByEnv("config/base.yaml", "prod")
	if err != nil {
		log.Fatalf("加载配置失败: %v", err)
	}
	// 绑定环境变量,生产密码走环境变量
	BindEnv(v)

	// 读取单个配置项
	host := v.GetString("database.host")
	port := v.GetInt("database.port")
	fmt.Printf("数据库地址: %s:%d\n", host, port)
}

多环境的目录结构通常这么组织。

config/
  base.yaml        # 基础配置,公共参数
  dev.yaml         # 开发环境覆盖
  test.yaml        # 测试环境覆盖
  prod.yaml        # 生产环境覆盖

base.yaml放公共参数,比如日志格式、连接池大小。prod.yaml只写生产环境不一样的,比如数据库地址、密码。

三、配置热更新WatchConfig

Viper支持监听配置文件变化,文件改了自动触发回调,不用重启服务。

package main

import (
	"log"
	"sync/atomic"
	"unsafe"

	"github.com/fsnotify/fsnotify"
	"github.com/spf13/viper"
)

// ConfigHolder 配置持有者,用原子指针保证并发安全
// 热更新时替换指针,读配置时不加锁
type ConfigHolder struct {
	ptr unsafe.Pointer // *AppConfig
}

// Get 原子读取当前配置
func (h *ConfigHolder) Get() *AppConfig {
	// atomic.LoadPointer返回当前配置指针
	return (*AppConfig)(atomic.LoadPointer(&h.ptr))
}

// Set 原子替换配置
func (h *ConfigHolder) Set(cfg *AppConfig) {
	atomic.StorePointer(&h.ptr, unsafe.Pointer(cfg))
}

// AppConfig 简化的配置结构
type AppConfig struct {
	Server struct {
		Port    int
		Timeout int
	}
	Database struct {
		Host string
		Port int
	}
}

var holder = &ConfigHolder{}

// WatchConfig 监听配置文件变化
func WatchConfig(path string) error {
	v := viper.New()
	v.SetConfigFile(path)
	v.SetConfigType("yaml")

	// 先读一次,初始化配置
	if err := v.ReadInConfig(); err != nil {
		return err
	}
	// 把初始配置存入holder
	updateConfig(v)

	// 设置配置变更回调
	v.OnConfigChange(func(e fsnotify.Event) {
		log.Printf("配置文件变更: %s", e.Name)
		// 重新读取配置并更新holder
		updateConfig(v)
	})
	// 开启文件监听
	v.WatchConfig()

	return nil
}

// updateConfig 把viper配置转成结构体存入holder
func updateConfig(v *viper.Viper) {
	var cfg AppConfig
	if err := v.Unmarshal(&cfg); err != nil {
		log.Printf("配置解析失败: %v", err)
		return
	}
	holder.Set(&cfg)
	log.Printf("配置已更新: 端口=%d", cfg.Server.Port)
}

func main() {
	if err := WatchConfig("config.yaml"); err != nil {
		log.Fatalf("启动配置监听失败: %v", err)
	}
	// 业务代码读取配置
	cfg := holder.Get()
	log.Printf("当前端口: %d", cfg.Server.Port)

	// 阻塞主goroutine
	select {}
}

这里有个细节值得注意。配置热更新并发读写有风险,旧的配置对象可能正在被业务代码使用,直接改字段会panic或读到半新半旧的数据。用atomic.Pointer替换整个配置对象,读的时候拿到的是完整的旧配置或完整的新配置,不会出现中间状态。

四、踩坑经验:配置优先级混乱导致密码被覆盖

这个坑我踩过。生产环境数据库密码是放在环境变量里的,按理说应该优先级最高。某天我本地调试,在yaml里写死了密码dev123,提交代码时忘记改回去。代码合并到生产分支后发版,服务启动连不上数据库。

排查发现Viper的配置优先级是这样的,从高到低:

  1. 显式调用v.Set设置的值
  2. 命令行参数flag
  3. 环境变量
  4. 配置文件
  5. 默认值

按这个顺序,环境变量优先级高于配置文件,理论上yaml里的dev123不该生效。问题出在我用了v.BindEnv("database.password", "DB_PASSWORD"),但生产机器上环境变量名写成了DB_PASSWD,少了两个字母,绑定没生效,于是走了配置文件的值。

package main

import (
	"fmt"
	"log"
	"os"

	"github.com/spf13/viper"
)

// SafeLoadConfig 安全加载配置,显式校验关键配置
func SafeLoadConfig(path string) (*AppConfig, error) {
	v := viper.New()
	v.SetConfigFile(path)
	if err := v.ReadInConfig(); err != nil {
		return nil, err
	}

	// 显式绑定环境变量,名字写错会直接报错
	// 用环境变量覆盖配置文件里的密码
	v.BindEnv("database.password", "DB_PASSWORD")
	v.BindEnv("database.host", "DB_HOST")
	v.BindEnv("database.port", "DB_PORT")

	var cfg AppConfig
	if err := v.Unmarshal(&cfg); err != nil {
		return nil, err
	}

	// 关键配置校验,生产环境密码不能为空
	// 不能为默认值
	if os.Getenv("APP_ENV") == "prod" {
		if cfg.Database.Password == "" {
			return nil, fmt.Errorf("生产环境数据库密码为空")
		}
		// 常见的弱密码黑名单
		weakPasswords := []string{"123456", "root", "admin", "dev123"}
		for _, w := range weakPasswords {
			if cfg.Database.Password == w {
				return nil, fmt.Errorf("生产环境使用了弱密码: %s", w)
			}
		}
	}
	return &cfg, nil
}

type AppConfig struct {
	Database struct {
		Host     string
		Port     int
		Password string
	}
}

func main() {
	// 模拟生产环境
	os.Setenv("APP_ENV", "prod")
	os.Setenv("DB_PASSWORD", "real_prod_pwd_2024")

	cfg, err := SafeLoadConfig("config.yaml")
	if err != nil {
		log.Fatalf("配置加载失败: %v", err)
	}
	log.Printf("数据库密码: %s", cfg.Database.Password)
}

解决方案有三点。第一,环境变量名做成常量统一管理,避免拼写错误。第二,关键配置加载后做校验,密码不能为空,不能是弱密码。第三,写个单元测试覆盖配置加载逻辑,环境变量名写错测试会报红。

五、对比分析

配置方案支持格式热更新环境变量复杂度
Viperyaml/json/toml/env等支持支持绑定
koanfyaml/json/toml等支持支持映射
envconfig仅env不支持原生支持极低
原生flag仅命令行不支持不支持极低

Viper功能最全,适合中大项目,支持远程配置中心集成。koanf更轻量,API简洁,适合中小项目。envconfig只读环境变量,适合纯12-factor应用。原生flag适合简单工具类程序,配置项很少的场景。

总结与预告

Viper的多环境配置靠覆盖实现,基础配置加环境配置合并,环境变量优先级最高。配置热更新用WatchConfig加回调,配合atomic.Pointer保证并发安全。配置优先级坑要特别注意,环境变量名拼写错误会静默回退到配置文件的值。下一篇讲Go优雅关机,看看信号处理和连接排空怎么做。

到此这篇关于Go中Viper多环境配置实现的文章就介绍到这了,更多相关Go Viper多环境配置内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

您可能感兴趣的文章:
阅读全文