Golang

关注公众号 jb51net

关闭
首页 > 脚本专栏 > Golang > Go缓存加速访问

Go使用缓存加速外部资源访问提高性能效率

作者：俞凡

缓存是架构设计中的常用概念，本文基于Go实现了一个简单的缓存组件，支持最基本的缓存操作，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪

 翻译自原文: Implementing Cache With Go

概念简介

缓存是计算机科学中的一个重要概念。设想某个组件需要访问外部资源，它向外部源请求资源，接收并使用资源，这些步骤都需要花费时间。当组件再次需要资源时，可以再次请求资源，但这种方式从时间上考虑是比较低效的。相反，组件可以将请求结果保存在本地某处，然后再次使用，使用本地数据总是比请求外部数据要快，这一策略就是缓存的基本概念。我们可以在内存、CPU缓存和服务器缓存(如Redis)中找到这些例子。

不同用例

Web服务中的缓存用于减少数据请求的延迟。Web服务保存第一次查询的执行结果，然后在需要的时候再次使用，而不用再次访问数据库。取决于数据的特性，缓存有不同情况，可以有相对静态的数据，如统计数据、计算结果，也有可能是经常变化的数据，如评论区或SNS。

最好的情况是缓存那些很少变化的数据。以月度统计数据为例，上个月的数据将不会变化，如果对它进行缓存，可能就不需要查询数据库获取上个月的数据了。

对于快速变化的数据，在存在多个服务器时最好谨慎些。看看上面的设计，以评论区服务为例，考虑如下场景，用户A发表了一些评论，然后A决定删除评论，用户B尝试回复评论。在某些情况下，A和B向不同的服务器发送请求。A的删除操作可能不会传播到B的服务器缓存。结果会是这样: 缓存A和缓存B有不同的数据，数据库不知道哪个才是真实的，数据的完整性被破坏了。

在这种情况下，可以使用单一外部缓存(如上图所示)，多个服务器只访问统一的缓存。

限制条件

缓存比数据库要快，但在大小上要小得多。这是因为数据库将数据存储在驱动器中，缓存将数据存储在内存中。它们遵循各自相同的特征，同样也有不同的特点，如果主机停止工作，缓存的所有数据都会丢失，但数据库的数据不会丢失。

由于缓存位于内存中，空间是有限的，需要选择缓存哪些数据。在CS课上，我们会听到LRU(Least Recently Used，最近最少使用)，LFU(Least Frequently Used，最不常用)和FIFO(First In First Out，先入先出)这样的词，这些是"选择哪一个"的标准，被称为驱逐策略(eviction policy)。

设计&实现

需求

API设计

键值存储的意思是，如果请求键，缓存会返回那些存在的键的值，类似于hash-map抽象数据类型，以提供以下API概念的应用程序为例:

func Get(key string) (hit bool, value []byte)
func Put(key string, value []byte) (hit bool)

数据结构

我们使用两种不同的数据结构: hash-map和双向链表，实现键值读写和LRU策略的特性。

基于这两种数据结构可以同时提供键值特性和LRU策略。参考以上设计概念图，hash-map的键将是字符串键，值是指向链表节点的指针，节点将保存键的值。

如果用户调用Get()，缓存应用程序将在hash-map中搜索键，跟随指针到达链表中的一个节点，获取值，完成LRU策略，并将值返回给用户。

类似的，如果调用Put()，会在hash-map中搜索键，跟踪指针并替换值，完成LRU策略，或者向hash-map中插入新键，并向链表中插入新节点。

并发控制

由于缓存被设计为支持频繁访问，因此在同一时间会有多个访问，并且总是存在并发问题的可能性。

在该设计中，存在两种不同的数据结构，并且并不总是同步的。在执行过程中，hash-map的修改和链表的修改之间有一个微小的时间间隔，请看下面的例子。

防止这种情况发生的最简单方法是使用互斥(Mutex) ，参考以下代码。

func (s *CStorage) Get(key string) (data []byte, hit bool) {
  s.mutex.Lock()
  defer s.mutex.Unlock()
  n, ok := s.table[key]
  if !ok {
    return nil, false
  }
  if n.ttl.Before(time.Now()) {
    s.evict(n)
    s.size--
    return nil, false
  }
  return n.data, true
}

这段代码是Get()的函数定义，可以看到在第一行中有互斥锁代码，在第二行中有defer的互斥锁解锁代码(defer是Go关键字，将行执行推迟到函数的末尾)。这些代码应用于所有其他数据存储访问功能，如Put、Delete、Clear等。

通过使用互斥锁，每次执行都不会受到其他操作的影响，保证了数据访问的安全性。

生存时间(Time To Live)

目前TTL是采用被动方式实现的，这意味着如果执行了数据访问函数(Get, Put)，它将检查TTL是否过期并决定是否删除。这也意味着即使节点已经过期，将仍然存在于数据结构中。

这种方法不需要消耗大量CPU时间来定期遍历所有节点，但是缓存很可能会保存过期的值。

大多数情况下，这么做没有问题，因为过期节点很可能是"最近最少使用"状态。但是，如果有函数通过数据结构清除过期节点就更好了，所以我们使用RemoveExpired()函数。

func (s *CStorage) RemoveExpired() int64 {
  var count int64 = 0
  for key, value := range s.table {
    if value.ttl.Before(time.Now()) {
      s.Delete(key)
      count++
    }
  }
  return count
}

此函数将被定期调用以清除所有过期节点。

结果

实现的Go包可以导入其他Go项目。另外，我还做了独立的缓存应用程序，提供gRPC API，细节可以查看这个存储库。

结论

这是个很好的重新审视缓存概念的机会，并且我们用Go实现了缓存。缓存是降低组件延迟的好工具，虽然空间受限，但速度更快。

实现实际的缓存模块可以用hash-map和双向链表完成。并发问题有点棘手，所以不得不使用互斥锁。此外，我们混合了被动和主动方式来删除过期数据。

以上就是Go使用缓存加速外部资源访问提高性能效率的详细内容，更多关于Go缓存加速访问的资料请关注脚本之家其它相关文章！

您可能感兴趣的文章:
阅读全文