高性能服务架构缓存设计：Redis+Caffeine

这是一个或许对你有用的社群 一对一交流/面试小册/简历优化/求职解惑欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料《项目实战视频》从书中学往事上“练”《互联网高频面试题》面朝简历学习春暖花开《架构 x 系统设计》摧枯拉朽掌控面试高频场景题《精进 Java 学习指南》系统学习互联网主流技术栈《必读 Java 源码专栏》知其然知其所以然这是一个或许对你有用的开源项目国产Star破10w的开源项目前端包括管理后台、微信小程序后端支持单体、微服务架构RBAC权限、数据权限、SaaS多租户、商城、支付、工作流、大屏报表、ERP、CRM、AI大模型、IoT物联网等功能多模块https://gitee.com/zhijiantianya/ruoyi-vue-pro微服务https://gitee.com/zhijiantianya/yudao-cloud视频教程https://doc.iocoder.cn【国内首批】支持 JDK17/21SpringBoot3、JDK8/11Spring Boot2双版本背景为什么要使用本地缓存设计一个本地内存需要有什么功能本地缓存方案选型1. 使用ConcurrentHashMap实现本地缓存2. 基于Guava Cache实现本地缓存3. Caffeine4. Encache本地缓存问题及解决1. 缓存一致性2. 如何提高本地缓存命中率3. 本地内存的技术选型问题背景在高性能的服务架构设计中缓存是一个不可或缺的环节。在实际的项目中我们通常会将一些热点数据存储到Redis或Memcached 这类缓存中间件中只有当缓存的访问没有命中时再查询数据库。在提升访问速度的同时也能降低数据库的压力。随着不断的发展这一架构也产生了改进在一些场景下可能单纯使用Redis类的远程缓存已经不够了还需要进一步配合本地缓存使用例如Guava cache或Caffeine从而再次提升程序的响应速度与服务性能。于是就产生了使用本地缓存作为一级缓存再加上远程缓存作为二级缓存的两级缓存架构。在先不考虑并发等复杂问题的情况下两级缓存的访问流程可以用下面这张图来表示基于 Spring Boot MyBatis Plus Vue Element 实现的后台管理系统 用户小程序支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能项目地址https://github.com/YunaiV/ruoyi-vue-pro视频教程https://doc.iocoder.cn/video/为什么要使用本地缓存本地缓存基于本地环境的内存访问速度非常快对于一些变更频率低、实时性要求低的数据可以放在本地缓存中提升访问速度使用本地缓存能够减少和Redis类的远程缓存间的数据交互减少网络I/O开销降低这一过程中在网络通信上的耗时基于 Spring Cloud Alibaba Gateway Nacos RocketMQ Vue Element 实现的后台管理系统 用户小程序支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能项目地址https://github.com/YunaiV/yudao-cloud视频教程https://doc.iocoder.cn/video/设计一个本地内存需要有什么功能存储并可以读、写原子操作(线程安全)如ConcurrentHashMap可以设置缓存的最大限制超过最大限制有对应淘汰策略如LRU、LFU过期时间淘汰如定时、懒式、定期持久化统计监控本地缓存方案选型1. 使用ConcurrentHashMap实现本地缓存缓存的本质就是存储在内存中的KV数据结构对应的就是jdk中线程安全的ConcurrentHashMap但是要实现缓存还需要考虑淘汰、最大限制、缓存过期时间淘汰等等功能优点是实现简单不需要引入第三方包比较适合一些简单的业务场景。缺点是如果需要更多的特性需要定制化开发成本会比较高并且稳定性和可靠性也难以保障。对于比较复杂的场景建议使用比较稳定的开源工具。2. 基于Guava Cache实现本地缓存Guava是Google团队开源的一款 Java 核心增强库包含集合、并发原语、缓存、IO、反射等工具箱性能和稳定性上都有保障应用十分广泛。Guava Cache支持很多特性支持最大容量限制支持两种过期删除策略插入时间和访问时间支持简单的统计功能基于LRU算法实现使用代码如下dependency groupIdcom.google.guava/groupId artifactIdguava/artifactId version31.1-jre/version /dependency Slf4j public class GuavaCacheTest { public static void main(String[] args) throws ExecutionException { CacheString, String cache CacheBuilder.newBuilder() .initialCapacity(5) // 初始容量 .maximumSize(10) // 最大缓存数超出淘汰 .expireAfterWrite(60, TimeUnit.SECONDS) // 过期时间 .build(); String orderId String.valueOf(123456789); // 获取orderInfo如果key不存在callable中调用getInfo方法返回数据 String orderInfo cache.get(orderId, () - getInfo(orderId)); log.info(orderInfo {}, orderInfo); } private static String getInfo(String orderId) { String info ; // 先查询redis缓存 log.info(get data from redis); // 当redis缓存不存在查db log.info(get data from mysql); info String.format({orderId%s}, orderId); return info; } }3. CaffeineCaffeine是基于java8实现的新一代缓存工具缓存性能接近理论最优。可以看作是Guava Cache的增强版功能上两者类似不同的是Caffeine采用了一种结合LRU、LFU优点的算法W-TinyLFU在性能上有明显的优越性使用代码如下dependency groupIdcom.github.ben-manes.caffeine/groupId artifactIdcaffeine/artifactId version2.9.3/version /dependency Slf4j public class CaffeineTest { public static void main(String[] args) { CacheString, String cache Caffeine.newBuilder() .initialCapacity(5) // 超出时淘汰 .maximumSize(10) //设置写缓存后n秒钟过期 .expireAfterWrite(60, TimeUnit.SECONDS) //设置读写缓存后n秒钟过期,实际很少用到,类似于expireAfterWrite //.expireAfterAccess(17, TimeUnit.SECONDS) .build(); String orderId String.valueOf(123456789); String orderInfo cache.get(orderId, key - getInfo(key)); System.out.println(orderInfo); } private static String getInfo(String orderId) { String info ; // 先查询redis缓存 log.info(get data from redis); // 当redis缓存不存在查db log.info(get data from mysql); info String.format({orderId%s}, orderId); return info; } }4. EncacheEncache是一个纯Java的进程内缓存框架具有快速、精干等特点是Hibernate中默认的CacheProvider。同Caffeine和Guava Cache相比Encache的功能更加丰富扩展性更强支持多种缓存淘汰算法包括LRU、LFU和FIFO缓存支持堆内存储、堆外存储、磁盘存储支持持久化三种支持多种集群方案解决数据共享问题使用代码如下dependency groupIdorg.ehcache/groupId artifactIdehcache/artifactId version3.9.7/version /dependency Slf4j public class EhcacheTest { private static final String ORDER_CACHE orderCache; public static void main(String[] args) { CacheManager cacheManager CacheManagerBuilder.newCacheManagerBuilder() // 创建cache实例 .withCache(ORDER_CACHE, CacheConfigurationBuilder // 声明一个容量为20的堆内缓存 .newCacheConfigurationBuilder(String.class, String.class, ResourcePoolsBuilder.heap(20))) .build(true); // 获取cache实例 CacheString, String cache cacheManager.getCache(ORDER_CACHE, String.class, String.class); String orderId String.valueOf(123456789); String orderInfo cache.get(orderId); if (StrUtil.isBlank(orderInfo)) { orderInfo getInfo(orderId); cache.put(orderId, orderInfo); } log.info(orderInfo {}, orderInfo); } private static String getInfo(String orderId) { String info ; // 先查询redis缓存 log.info(get data from redis); // 当redis缓存不存在查db log.info(get data from mysql); info String.format({orderId%s}, orderId); return info; } }本地缓存问题及解决1. 缓存一致性两级缓存与数据库的数据要保持一致一旦数据发生了修改在修改数据库的同时本地缓存、远程缓存应该同步更新。解决方案1: MQ一般现在部署都是集群部署有多个不同节点的本地缓存; 可以使用MQ的广播模式当数据修改时向MQ发送消息节点监听并消费消息删除本地缓存达到最终一致性解决方案2Canal MQ如果你不想在你的业务代码发送MQ消息还可以适用近几年比较流行的方法订阅数据库变更日志再操作缓存。Canal 订阅Mysql的 Binlog日志当发生变化时向MQ发送消息进而也实现数据一致性。2. 如何提高本地缓存命中率参考如何提高缓存命中率3. 本地内存的技术选型问题从易用性角度Guava Cache、Caffeine和Encache都有十分成熟的接入方案使用简单。从功能性角度Guava Cache和Caffeine功能类似都是只支持堆内缓存Encache相比功能更为丰富从性能上进行比较Caffeine最优、GuavaCache次之Encache最差(下图是三者的性能对比结果对于本地缓存的方案中我比较推荐Caffeine性能上遥遥领先。虽然Encache功能更为丰富甚至提供了持久化和集群的功能但是这些功能完全可以依靠其他方式实现。真实的业务工程中建议使用Caffeine作为本地缓存另外使用redis或者memcache作为分布式缓存构造多级缓存体系保证性能和可靠性。欢迎加入我的知识星球全面提升技术能力。 加入方式“长按”或“扫描”下方二维码噢星球的内容包括项目实战、面试招聘、源码解析、学习路线。文章有帮助的话在看转发吧。 谢谢支持哟 (*^__^*