SingleFlight模式的Go并发编程学习

更新时间：2022年04月26日 11:44:50 作者：kevwan

这篇文章主要为大家介绍了SingleFlight模式的Go并发编程学习，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪

应用场景

查询缓存时，合并请求，提升服务性能。假设有一个 IP 查询的服务，每次用户请求先在缓存中查询一个 IP 的归属地，如果缓存中有结果则直接返回，不存在则进行 IP 解析操作。

如上图所示，n 个用户请求查询同一个 IP（8.8.8.8）就会对应 n 个 Redis 的查询，在高并发场景下，如果能将 n 个 Redis 查询合并成一个 Redis 查询，那么性能肯定会提升很多，而 SingleFlight就是用来实现请求合并的，效果如下：

防止缓存击穿。

缓存击穿问题是指：在高并发的场景中，大量的请求同时查询一个 key ，如果这个 key 正好过期失效了，就会导致大量的请求都打到数据库，导致数据库的连接增多，负载上升。

通过SingleFlight可以将对同一个Key的并发请求进行合并，只让其中一个请求到数据库进行查询，其他请求共享同一个结果，可以很大程度提升并发能力。

应用方式

直接上代码：

func main() {
  round := 10
  var wg sync.WaitGroup
  barrier := syncx.NewSingleFlight()
  wg.Add(round)
  for i := 0; i < round; i++ {
    go func() {
      defer wg.Done()
      // 启用10个协程模拟获取缓存操作
      val, err := barrier.Do("get_rand_int", func() (interface{}, error) {
        time.Sleep(time.Second)
        return rand.Int(), nil
      })
      if err != nil {
        fmt.Println(err)
      } else {
        fmt.Println(val)
      }
    }()
  }
  wg.Wait()
}

登录后复制免费讲解

以上代码，模拟 10 个协程请求 Redis 获取一个 key 的内容，代码很简单，就是执行Do()方法。其中，接收两个参数，第一个参数是获取资源的标识，可以是 redis 中缓存的 key，第二个参数就是一个匿名函数，封装好要做的业务逻辑。最终获得的结果如下：

5577006791947779410
5577006791947779410
5577006791947779410
5577006791947779410
5577006791947779410
5577006791947779410
5577006791947779410
5577006791947779410
5577006791947779410
5577006791947779410

从上看出，10个协程都获得了同一个结果，也就是只有一个协程真正执行了rand.Int()获取了随机数，其他的协程都共享了这个结果。

源码解析

先看代码结构：

type (
  // 定义接口，有2个方法 Do 和 DoEx，其实逻辑是一样的，DoEx 多了一个标识，主要看Do的逻辑就够了
  SingleFlight interface {
    Do(key string, fn func() (interface{}, error)) (interface{}, error)
    DoEx(key string, fn func() (interface{}, error)) (interface{}, bool, error)
  }
  // 定义 call 的结构
  call struct {
    wg  sync.WaitGroup // 用于实现通过1个 call，其他 call 阻塞
    val interface{}    // 表示 call 操作的返回结果
    err error          // 表示 call 操作发生的错误
  }
  // 总控结构，实现 SingleFlight 接口
  flightGroup struct {
    calls map[string]*call // 不同的 call 对应不同的 key
    lock  sync.Mutex       // 利用锁控制请求
  }
)

登录后复制免费讲解

然后看最核心的Do方法做了什么事情：

func (g *flightGroup) Do(key string, fn func() (interface{}, error)) (interface{}, error) {
  c, done := g.createCall(key)
  if done {
    return c.val, c.err
  }
  g.makeCall(c, key, fn)
  return c.val, c.err
}

登录后复制免费讲解

代码很简洁，利用g.createCall(key)对 key 发起 call 请求（其实就是做一件事情），如果此时已经有其他协程已经在发起 call 请求就阻塞住（done 为 true 的情况），等待拿到结果后直接返回。如果 done 是 false，说明当前协程是第一个发起 call 的协程，那么就执行g.makeCall(c, key, fn)真正地发起 call 请求（此后的其他协程就阻塞在了g.createCall(key))。

从上图可知，其实关键就两步：

判断是第一个请求的协程（利用map）
阻塞住其他所有协程（利用 sync.WaitGroup）

来看下g.createCall(key)如何实现的：

func (g *flightGroup) createCall(key string) (c *call, done bool) {
  g.lock.Lock()
  if c, ok := g.calls[key]; ok {
    g.lock.Unlock()
    c.wg.Wait()
    return c, true
  }
  c = new(call)
  c.wg.Add(1)
  g.calls[key] = c
  g.lock.Unlock()
  return c, false
}

登录后复制免费讲解

先看第一步：判断是第一个请求的协程（利用map）

g.lock.Lock()
if c, ok := g.calls[key]; ok {
  g.lock.Unlock()
  c.wg.Wait()
  return c, true
}

登录后复制免费讲解

此处判断 map 中的 key 是否存在，如果已经存在，说明已经有其他协程在请求了，当前这个协程只需要等待，等待是利用了sync.WaitGroup的Wait()方法实现的，此处还是很巧妙的。要注意的是，map 在 Go 中是非并发安全的，所以需要加锁。

再看第二步：阻塞住其他所有协程（利用 sync.WaitGroup）

c = new(call)
c.wg.Add(1)
g.calls[key] = c

登录后复制免费讲解

因为是第一个发起 call 的协程，所以需要 new 这个 call，然后将wg.Add(1)，这样就对应了上面的wg.Wait()，阻塞剩下的协程。随后将 new 的 call 放入 map 中，注意此时只是完成了初始化，并没有真正去执行call请求，真正的处理逻辑在 g.makeCall(c, key, fn)中。

func (g *flightGroup) makeCall(c *call, key string, fn func() (interface{}, error)) {
  defer func() {
    g.lock.Lock()
    delete(g.calls, key)
    g.lock.Unlock()
    c.wg.Done()
  }()
  c.val, c.err = fn()
}

登录后复制免费讲解

这个方法中做的事情很简单，就是执行了传递的匿名函数fn()（也就是真正call请求要做的事情）。最后处理收尾的事情（通过defer），也是分成两步：

删除 map 中的 key，使得下次发起请求可以获取新的值。
调用wg.Done()，让之前阻塞的协程全部获得结果并返回。

至此，SingleFlight 的核心代码就解析完毕了，虽然代码不长，但是这个思想还是很棒的，可以在实际工作中借鉴。

总结

map 非并发安全，记得加锁。
巧用 sync.WaitGroup 去完成需要阻塞控制协程的应用场景。
通过匿名函数 fn 去封装传递具体业务逻辑，在调用 fn 的上层函数中去完成统一的逻辑处理。

项目地址

https://github.com/zeromicro/go-zero

以上就是SingleFlight模式的Go并发编程学习的详细内容，更多关于SingleFlight模式Go并发编程的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:

微信公众号搜索 “ 脚本之家 ” ，选择关注

程序猿的那些事、送书等活动等着你

原文链接：https://my.oschina.net/kevwan/blog/5518730

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权/违法违规/事实不符，请将相关资料发送至 reterry123@163.com 进行投诉反馈，一经查实，立即处理！

浅析Go设计模式之Facade(外观)模式
本文将介绍外观模式的概念、结构和工作原理，并提供一些在Go中实现外观模式的示例代码,通过使用外观模式，可以降低代码的耦合度，提高代码的可维护性和可读性，需要的朋友可以参考下
2023-05-05
Go语言中JSON文件的读写操作
本文主要介绍了Go语言JSON文件的读写操作，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2023-04-04
Go语言ORM包中使用worm构造查询条件的实例详解
worm是一款方便易用的Go语言ORM库。worm支Model方式（持结构体字段映射）、原生SQL以及SQLBuilder三种模式来操作数据库，并且Model方式、原生SQL以及SQLBuilder可混合使用，本文通过一些例子来说明如何使用worm来构造查询条件，感兴趣的朋友一起看看吧
2022-07-07
go语言单元测试基准测试及表驱动测试示例详解
这篇文章主要为大家介绍了go语言单元测试基准测试及表驱动测试示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
2023-08-08
Go语言实战学习之流程控制详解
这篇文章主要为大家详细介绍了Go语言中的流程控制，文中的示例代码讲解详细，对我们学习Go语言有一定的帮助 ,需要的朋友可以参考下
2022-08-08
goFrame的gqueue与channe的区别
这篇文章主要介绍了goFrame的gqueue与channe的区别，channel的作用是用于go协程间的通信，goroutine和channel是支持高并发的重要组成部分，更多两者详细介绍需要的小伙伴可以参考下面文章内容
2022-06-06
Go语言defer与return执行的先后顺序详解
这篇文章主要为大家介绍了Go语言defer与return执行的先后顺序详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪
2022-12-12
GO语言入门Golang进入HelloWorld
本篇文章是go语言基础篇，非常适合go语言刚入门的小白，主要介绍了GO语言入门Golang进入HelloWorld，跟着小编一起来编写Go语言的第一程序helloworld吧
2021-09-09
golang连接sqlx库的操作使用指南
这篇文章主要为大家介绍了golang连接sqlx库的操作使用指南，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步早日升职加薪
2022-04-04
Golang反射获取结构体的值和修改值的代码示例
这篇文章主要给大家介绍了golang反射获取结构体的值和修改值的代码示例及演示效果,对我们的学习或工作有一定的帮助,感兴趣的同学可以参考阅读本文
2023-08-08