Golang基于Vault实现敏感信息保护
作者:Shawn27
背景
在应用程序的配置中,有一类信息比较敏感,比如数据库的用户名/密码、云平台的 AK/SK、各种 API keys、各类账号/密码等,这些信息的泄露会带来严重的安全问题。
然而在实际生产活动中,这些敏感信息的管理有很大的漏洞,存在很大的泄露风险:
- 代码或配置以明文形式记录敏感信息,存放在代码仓库中,甚至误上传到 GitHub;
- 敏感信息的生成、分发、保管、部署全流程经多人之手,缺乏有效的管控手段;
- 敏感信息生成之后长期有效,没有自动轮转机制,加大了泄露风险及影响程度。
敏感信息保护是网络安全工作的一个重要部分。
敏感信息保护
敏感信息保护是一个比较复杂的系统性工作,主要包括以下几个部分:
- 要有一个专门的平台来托管敏感信息,本文采用 HashiCorp 公司开源的 Vault 工具
- 应用程序要与该平台集成,从平台获取敏感信息,并完成续租和轮转等操作
- 部署工具要与该平台集成,为应用程序注入登录平台所需的身份凭据
Vault 是一个强大的敏感信息管理工具,自带了多种认证引擎和密码引擎,并通过插件机制允许自定义引擎,可应用于多种常见的敏感信息保护场景,具体用法本文不做介绍,请参考Vault官方文档。至于部署发布工具与 Vault 的集成,与所使用的部署工具及发布流水线有关,每个公司不尽相同,本文也不做详细展开。
本文主要探讨应用程序与 Vault 的集成,以数据库凭据为例,介绍应用程序如何安全地从 Vault 获取敏感信息,并进一步实现自动轮转。
应用集成方案
应用程序与 Vault 的集成可以采用直接方式,即开发者自行编写代码实现登录认证、Token 续租、过期再登录以及敏感信息的获取、续租和轮转等逻辑,这种集成方式对应用程序有较多的代码侵入,实现成本较高。
Vault 官方提供了一种对应用程序代码低侵入甚至无侵入的集成方案,即 Vault Agent,它实现了与 Vault Server 的所有交互逻辑,并且还可以通过模板功能将获取的敏感信息渲染成本地配置文件,应用程序只需要读取该配置文件即可。
本文采用基于 Agent 的间接集成方案:Agent 负责登录 Vault 并管理 Token 续租及过期再登录,根据配置模板文件从 Vault 获取所需的敏感信息,渲染成本地配置文件,管理敏感信息的续租及轮转,并更新本地配置文件;应用程序只需读取本地配置文件获取敏感信息,并持续监听该文件,当文件变化时进行动态更新。这是一种完全解耦的间接集成方式,如下图所示。
准备工作
1. 创建具有 CRUD 权限的数据库角色
# 首先启用数据库密码引擎 $ vault secrets enable database # 创建 MySQL 数据库配置 $ export MYSQL_URL=x.x.x.x:3306 $ vault write database/config/mydb \ plugin_name=mysql-database-plugin \ connection_url="{{username}}:{{password}}@tcp($MYSQL_URL)/" \ allowed_roles="mydb-crud" \ username="root" \ password="******" # 说明:该用户需要具有用户管理权限,此处直接使用 root # 创建 mydb-crud 角色(具有增删改查完整权限) $ vault write database/roles/mydb-crud \ db_name=mydb \ creation_statements="CREATE USER '{{name}}'@'%' IDENTIFIED BY '{{password}}'; GRANT SELECT, INSERT, DELETE, UPDATE ON mydb.* TO '{{name}}'@'%';" \ default_ttl="2m" \ max_ttl="10m" # 说明:为方便测试,此处 TTL 设置较小,实际使用时需要评估合理的值 # 测试获取 mydb-crud 角色的凭据,并查看验证 $ vault read database/creds/mydb-crud $ vault list sys/leases/lookup/database/creds/mydb-crud
2. 创建具有上述数据库权限的 AppRole
# 启用 Approle 认证引擎 $ vault auth enable approle # 创建权限策略 mydb-policy $ vault policy write mydb-policy -<<EOF #获取凭据的权限 path "database/creds/mydb-crud" { capabilities = [ "read" ] } #续租凭据的权限 path "sys/leases/+/database/creds/mydb-crud/*" { capabilities = [ "update" ] } EOF # 创建具有 mydb-policy 权限的 AppRole $ vault write auth/approle/role/myapp token_policies="mydb-policy" \ token_ttl=2m token_max_ttl=10m # 查看创建的 AppRole $ vault read auth/approle/role/myapp
3. 获取 AppRole 身份凭据( RoleID 和 SecretID )
# 获取 RoleID $ vault read -field=role_id auth/approle/role/myapp/role-id >~/.roleid # 获取 SecretID $vault write -f -field=secret_id auth/approle/role/myapp/secret-id >~/.secretid
然后由部署发布工具将 RoleID 和 SecretID 注入到应用程序所在服务器的约定位置文件中。
登录认证
Agent 的 Auto_Auth 功能实现了登录认证、Token 续租和过期再登录等逻辑,允许指定认证方法和 Token 保存位置。这里采用 AppRole 认证,需要指定 RoleID 和 SecretID 两个文件的位置(由部署发布工具注入)。
auto-auth 配置块如下所示:
auto_auth { method { type = "approle" config = { role_id_file_path = "/vault/config/approle/roleid" secret_id_file_path = "/vault/config/approle/secretid" remove_secret_id_file_after_reading = false } } sink "file" { config = { path = "/tmp/.vault-token-via-agent" } } }
获取数据库凭据
Agent 的 Template 功能可以根据指定位置的模板文件获取所需的敏感信息,填充、渲染成配置文件,保存在指定位置,当渲染出的结果文件发生变化时还可以执行给定的命令。
template 相关的配置块如下所示:
template_config { exit_on_retry_failure = true } template { error_on_missing_key = true source = "/vault/config/appconf/config.ctmpl" destination = "/vault/config/appconf/config.yaml.tmp" exec { command = ["dd", "if=/vault/config/appconf/config.yaml.tmp", "of=/vault/config/appconf/config.yaml" ] timeout = "5s" } }
配置模板文件config.ctmpl
通过模板语言指定敏感信息的占位符及获取路径,经 Agent 渲染后生成应用程序能识别的配置文件config.yaml
。配置模板文件的相关片段如下所示:
# config.ctmpl database: mysql: {{- with secret "database/creds/mydb-crud" }} username: {{ .Data.username }} password: {{ .Data.password }} {{- end }} address : x.x.x.x:3306 dbname : mydb options : charset=utf8mb4&parseTime=True&loc=Local
应用程序读取本地配置文件config.yaml
即可获取数据库凭据,不需要与 Vault 进行交互,实现了与 Vault 的完全解耦。
使用数据库凭据
关于 Golang 应用程序如何读取配置文件可以参考《浅谈Golang配置管理》这篇文章。
这里仅给出使用数据库凭据相关的代码片段,如下:
var ( mysqlUsername string mysqlPassword string mysqlAddress string mysqlDBname string mysqlOptions string ) func initConfig() { mysqlUsername = Config.Database.MySQL.Username mysqlPassword = Config.Database.MySQL.Password mysqlAddress = Config.Database.MySQL.Address mysqlDBname = Config.Database.MySQL.DBname mysqlOptions = Config.Database.MySQL.Options } func connectMySQL() (*gorm.DB, error) { msyqlDSN := fmt.Sprintf("%s:%s@tcp(%s)/%s?%s", mysqlUsername, mysqlPassword, mysqlAddress, mysqlDBname, mysqlOptions) return gorm.Open(mysql.Open(msyqlDSN), &gorm.Config{}) }
数据库凭据自动轮转
Agent 从 Vault 获取数据库凭据后,会在其TTL
到期前进行续租,当因Max-TTL
限制无法续租时,会自动轮转,重新获取一组新的凭据,并更新在本地配置文件中。
应用程序监听到本地配置文件的变化时,需要读取新的凭据,并进行动态加载。配置动态更新的具体方法可以参考《浅谈Golang配置管理》这篇文章。
这里仅给出配置动态加载相关的示例代码,如下:
var db *gorm.DB var dbLocker sync.Mutex func reconnectMySQL() { // get new mysql creds creds := getNewMySQLCreds() if creds.Username == mysqlUsername && creds.Password == mysqlPassword { log.Println("MySQL creds not changed, skip mysql reconnection.") return } dbLocker.Lock() defer dbLocker.Unlock() // re-connect mysql with new creds mysqlUsername = creds.Username mysqlPassword = creds.Password d, err := connectMySQL() if err != nil { log.Println("MySQL connect failed:", err) return } // setupDatabase(d) db = d }
说明:上述示例代码通过重建gorm.DB
对象来更新数据库凭据,是一种可行的方式,但是比较粗暴,会导致连接重建,在业务高峰期时可能会影响服务性能,在生产上建议寻求更优雅、平滑的实现方式。大家有好的实现或思路可以在评论区留言分享。
总结
本文探讨了基于 Vault 的敏感信息保护方案,重点介绍了应用程序通过 Agent 与 Vault 间接集成的方法,以数据库凭据为例,具体说明了应用程序如何安全地从 Vault 获取敏感信息,并进一步实现自动轮转。
以上就是Golang基于Vault实现敏感信息保护的详细内容,更多关于Go Vault敏感信息保护的资料请关注脚本之家其它相关文章!