我用Ehcache本地缓存把查询性能提升100倍,真香!

标签: ehcache 缓存 性能 | 发表时间:2022-04-21 00:42 | 作者:石杉的架构笔记
出处:https://juejin.cn/tag/%E6%9E%B6%E6%9E%84

目录

  • 业务背景
  • 如何通过缓存优化查询接口
  • 基于大数据离线平台进行缓存预热
  • 本地缓存框架Ehcache

今天给大家来分享一个知识,那就是平时我们开发系统的时候,如何运用Ehcache这款本地缓存框架,把我们的查询性能大幅度提升优化,甚至让很多查询操作性能提升到100倍以上,下面就来讲讲这个话题。

业务场景

首先给大家引入一个场景,就是假设咱们写的一套Java系统要跑一个几百行的大SQL从mysql里查询数据,这个查询是不是会速度非常的慢?那肯定是了,这种几百行大SQL往往都是那种超级复杂的查询,可能涉及到了多表的关联,也有的是那种数据指标的查询,当然这种数据指标的查询其实是会常见一些,就是针对各种数据表关联起来查询和统计一些指标。

一般来说的话,遇到这种超级大SQL,往往会导致查询mysql性能很差,一般跑个1s甚至好几秒那是很常见的了,比如下图。

image.png

所以 往往对于这种场景来说,如果想要优化一下这个查询的性能,我们一般会用缓存,也就是说,这一次用几百行SQL语句查询出了结果,好不容易用了几秒钟特别特别慢,接着其实就把这个结果缓存起来,下次请求过来,直接就用这个缓存里的数据拿出来返回就可以了,从缓存里读结果以及返回,最多就是个1ms的事儿,根本不用几秒那么漫长了。

如何通过缓存优化查询接口

那么问题来了,这个缓存的结果是放哪里?可能很多兄弟说可以放redis里啊!但是,一定要每次用缓存就立马上redis吗?毕竟redis还得额外部署集群,一旦引入redis,你还得考虑redis是否会有故障,他的一些接入问题,以及跟redis进行网络通信毕竟也是要耗时的。

所以说,其实咱们优先啊,可以先上本地缓存,也就是说,在业务系统运行的jvm的堆内存里,来缓存我们的查询结果,下次请求来了,就从本地缓存里取出来直接返回就可以了,如下图。

image.png

基于大数据离线平台进行缓存预热

那么下一个问题又来了,很多查询他可能当天第一次查的时候,本地缓存里是没有的,还是得去mysql里花费几秒钟来查询,查完了以后才能放入到本地缓存里去,那这样岂不是每天都有一些人第一次查询很慢很慢吗?

有没有更好的办法呢?当然有了,那就是缓存预热,我们的业务系统可以把每天的查询请求和参数都记录下来,对于一些数据报表的复杂查询,其实每天的查询条件都是差不多的,只不过是当天的日期会有变化而已,另外就是对于一些数据报表的数据,往往是通过大数据平台进行离线计算的。

啥叫做离线计算呢?就是说可能有一个大数据系统每天凌晨的时候会把昨天的数据算一遍,算好的数据结果写入到mysql里去,然后每天更新数据就这一次,接着当天就不更新数据了,如下图。

image.png 然后呢,用户每天都会对我们的系统发起很多次复杂报表查询语句,但是这个SQL多表关联的一些逻辑,以及附加的一些查询条件几乎都是有规律的是差不多的,就是每天选择的当天日期是不太一样的,所以此时我们就可以把这些查询条件记录下来,然后每天凌晨的时候,趁着大家都睡觉了,就根据经常查询的条件和当天日期,提前去查询数据,查询结果提前写入本地缓存。

这样用户第一次来访问,就可以直接从本地缓存里拿到最新的数据了,如下图。

image.png

本地缓存框架:Ehcache

接着给大家讲讲咱们常用的本地缓存框架,Ehcache,这是大名鼎鼎的一个本地缓存框架,基本上ehcache和guava两款本地缓存框架,用的是最多的,我们以ehcache举例来讲讲本地缓存框架是怎么用的。

首先得在咱们的项目pom.xml里引入对应的依赖,如下所示。

  <dependency>
  <groupId>net.sf.ehcache</groupId>
  <artifactId>ehcache</artifactId>
  <version>2.10.2</version>
</dependency>

接着就可以引入一个ehcache.xml这种配置文件,对我们的缓存框架进行一定的配置了,如下所示。

  <?xml version="1.0" encoding="UTF-8"?>
<ehcache xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
         xsi:noNamespaceSchemaLocation="http://ehcache.org/ehcache.xsd">
<cache name="report" 
         maxElementsInMemory="1000" 
         eternal="false" 
         timeToLiveSeconds="86400" 
         overflowToDisk="false" 
         disPersistent="false" 
         memoryStoreEvictionPolicy="LRU" />
</ehcache>

下面给大家解释一下ehcache框架运行起来以后上述那些参数对他的影响,首先maxElementsInMemory说的就是他在内存里可以缓存多少条数据,eternal意思是说这个缓存是否是永久有效的,如果要是永久有效了那么timeToLiveSeconds也就没用了。

但是如果不是永久有效的,就可以设置timeToLiveSeconds了,比如说可以设置缓存数据生存24小时,然后就自动过期,接着就必须要强制从数据库里来查询了。

overflowToDisk是说如果缓存的数据要是超过了maxElementsInMemory的时候,是不是把多余的数据刷写到磁盘里去,diskPersistent是说在jvm重启的时候,要不要把内存里缓存的数据刷写到磁盘里去,然后jvm重启后再把磁盘里的数据恢复到内存里来,这俩参数,如果要是缓存的数据特别多的话,其实还是可以开启的。

一方面是内存缓存不下了可以刷写到磁盘去,一方面是内存里的数据重启的时候还是持久化一下,然后重新加载到内存里来。

还有一个是memoryStoreEvictionPolixy是缓存的回收策略,因为如果要是缓存数据量过多了,导致内存和磁盘都放不下了,这个时候就必须回收掉一部分的数据了,一般都是用LRU,最近最少使用策略来回收的。

下面是ehcache在代码里的使用示例:

  public class EhcacheTest {
  
  public static void main(String[] args) {
    CacheManager cacheManager = CacheManager.create();
    Cache cache = cacheManager.getCache("report");
    cache.put(new Element("key", "value"));
    cache.get("key").getObjectValue();
  }
  
}

希望今天给大家分享的本地缓存知识可以帮助到大家以后遇到类似的复杂报表数据查询场景的时候,可以利用这个知识点去优化自己系统的性能。

END

扫码 免费获取 600+页石杉老师原创精品文章汇总PDF

img

原创技术文章汇总

img

相关 [ehcache 缓存 性能] 推荐:

我用Ehcache本地缓存把查询性能提升100倍,真香!

- - 掘金 架构
如何通过缓存优化查询接口. 基于大数据离线平台进行缓存预热. 本地缓存框架Ehcache. 今天给大家来分享一个知识,那就是平时我们开发系统的时候,如何运用Ehcache这款本地缓存框架,把我们的查询性能大幅度提升优化,甚至让很多查询操作性能提升到100倍以上,下面就来讲讲这个话题. 首先给大家引入一个场景,就是假设咱们写的一套Java系统要跑一个几百行的大SQL从mysql里查询数据,这个查询是不是会速度非常的慢.

在Spring、Hibernate中使用Ehcache缓存

- - BlogJava-首页技术区
前一篇 http://www.blogjava.net/hoojo/archive/2012/07/12/382852.html介绍了Ehcache整合Spring缓存,使用页面、对象缓存;这里将介绍在Hibernate中使用查询缓存、一级缓存、二级缓存,整合Spring在HibernateTemplate中使用查询缓存.

Ari Zilka谈Ehcache的进程内堆外缓存BigMemory

- - 企业架构 - ITeye博客
Ehcache的 BigMemory提供了一个进程内的堆外缓存,用来存储应用相关的大批量数据. Terracotta上周 发布了BigMemory模块的GA版本,该模块支持Ehcache企业版. BigMemory是Ehcache标准API的一部分,为cache定义两个新属性(overflowToOffHeap和maxMemoryOffHeap)就可以使用了,代码片段如下所示:.

Java Cache-EHCache系列之Store实现

- - BlogJava-首页技术区
写了那么多,终于到Store了. Store是EHCache中Element管理的核心,所有的Element都存放在Store中,也就是说Store用于所有和Element相关的处理. EHCache中的Element. 在EHCache中,它将所有的键值对抽象成一个Element,作为面向对象的设计原则,把数据和操作放在一起,Element除了包含key、value属性以外,它还加入了其他和一个Element相关的统计、配置信息以及操作:.

[转][转]Redis、Memcached、Guava、Ehcache中的算法

- - heiyeluren的blog(黑夜路人的开源世界)
缓存那些事,一是内存爆了要用LRU(最近最少使用)、LFU(最少访问次数)、FIFO的算法清理一些;二是设置了超时时间的键过期便要删除,用主动或惰性的方法. 今天看 Redis3.0的发行通告里说,LRU算法大幅提升了,就翻开源码来八卦一下,结果哭笑不得,这旧版的"近似LRU"算法,实在太简单,太偷懒,太Redis了.

Java Cache-EHCache系列之AA-Tree实现溢出到磁盘的数据管理

- - BlogJava-首页技术区
在EHCache中,如果设置了overflowToDisk属性,当Cache中的数据超过限制时,EHCache会根据配置的溢出算法(先进先出(FIFO)、最近最少使用算法(LRU)等),选择部分实例,将这些实例的数据写入到磁盘文件中临时存储,已减少内存的负担,当内存中的实例数减少(因为超时或手工移除)或某些实例被使用到时,又可以将这些写入磁盘的数据重新加载到内存中.

Java Cache-EHCache系列之计算实例占用的内存大小(SizeOf引擎)

- - BlogJava-首页技术区
计算一个实例内存占用大小思路. 在Java中,除了基本类型,其他所有通过字段包含其他实例的关系都是引用关系,因而我们不能直接计算该实例占用的内存大小,而是要递归的计算其所有字段占用的内存大小的和. 在Java中,我们可以将所有这些通过字段引用简单的看成一种树状结构,这样就可以遍历这棵树,计算每个节点占用的内存大小,所有这些节点占用的内存大小的总和就当前实例占用的内存大小,遍历的算法有:先序遍历、中序遍历、后序遍历、层级遍历等.

ASP.NET性能优化之构建自定义文件缓存

- Pei - 博客园-首页原创精华区
ASP.NET的输出缓存(即静态HTML)在.NET4.0前一直是基于内存的. 这意味着如果我们的站点含有大量的缓存,则很容易消耗掉本机内存. 现在,借助于.NET4.0中的OutputCacheProvider,我们可以有多种选择创建自己的缓存. 如,我们可以把HTML输出缓存存储到memcached分布式集群服务器,或者MongoDB中(一种常用的面向文档数据库,不妨阅读本篇http://msdn.microsoft.com/zh-cn/magazine/gg650661.aspx).

MySQL 数据库性能优化之缓存参数优化

- flychen50 - Sky.Jian 朝阳的天空
在平时被问及最多的问题就是关于 MySQL 数据库性能优化方面的问题,所以最近打算写一个MySQL数据库性能优化方面的系列文章,希望对初中级 MySQL DBA 以及其他对 MySQL 性能优化感兴趣的朋友们有所帮助. 这是 MySQL数据库性能优化专题 系列的第一篇文章:MySQL 数据库性能优化之缓存参数优化.

如何构建高性能web站点之:分布式缓存

- - CSDN博客架构设计推荐文章
要明白数据库前段的缓冲区,首先要明白什么是文件系统内核缓冲区(Buffer Area):它位于物理内存的内核地址空间,除了使用O_DIRECT标记打开的文件以外,所有对磁盘的读写操作,都需要经过它,所以,可以把它看作磁盘的前段设备. 这块内核缓冲区也称为:页高速缓存(Page Cache),实际上它包括两部分:.