介绍

布隆过滤器(BloomFilter)是一种数据结构,特点是高效地插入和查询,可以用来告诉你某个key一定不存在或者可能存在,它是用多个哈希函数,将一个key映射到多个数组下标中。

特点

布隆过滤器可以告诉我们 "某样东西一定不存在或者可能存在",也就是说布隆过滤器说这个key不存在则一定不存在,布隆过滤器说这个key存在则可能不存在(会存在误判),利用这个判断是否存在的特点可以做很多有趣的事情。

数据结构

 由一串很长的二进制数组向量组成,可以将其看成一个二进制数组。既然是二进制,那么里面存放的不是0,就是1,但是初始默认值都是0。

新增数据

把一个key经过多个hash函数计算出多个数组下标,把计算出的下标的位置的0变成1。

查询数据

当要查询一个key是否在布隆过滤器中,用相同的方法计算出多个1,判断根据这个key计算出的多个1的位置在布隆过滤器中是否都是1,如果都是那么代表可能存在,如果不都是代表一定不存在。

删除数据

布隆过滤器很难进行删除操作。

作用

 高效判断一个数据在不在某一组数据中。

误差率: 创建布隆过滤器时,可以设置误差率,误差率越小,hash函数越多,二进制数据占用空间越大。hash函数越多,计算出的hash值多,对应计算出的二进制数组下标越多,效率越低,有一个位置在布隆过滤器中置不为1,就代表不存在,精确度越高。

业务使用

布隆过滤器就是在Redis缓存前面在加一层过滤,负责过滤无效的请求,如果请求没有通过布隆过滤器就不会到缓存和数据库。

布隆过滤器的优点 :

  • 空间效率 和 查询效率都远远超过一般的算法。
  • 增加和查询元素的时间复杂为O(N)(N为哈希函数的个数,通常情况比较小)。
  • 占用空间小,如果允许存在一定的误判,布隆过滤器是非常节省空间。
  • 保密性强,布隆过滤器不存储数据本身。

布隆过滤器的缺点: 有点一定的误判率,但是可以通过调整参数来降低。

  • 无法获取元素本身。
  • 很难删除元素。

快速开始

导入依赖:

<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>28.0-jre</version>
</dependency>

配置类:

把布隆过滤器对象注入进IOC容器。

import com.google.common.hash.BloomFilter;
import com.google.common.hash.Funnels;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import java.nio.charset.Charset;
@Configuration
public class BloomFilterConfig {
    /**
     * expectedInsertions:期望添加的数据个数
     * fpp:期望的误判率,期望的误判率越低,布隆过滤器计算时间越长
     * @return
     */
    @Bean
    public BloomFilter<String> goodsIDBloom(){
        BloomFilter<String> filter = BloomFilter.create(Funnels.stringFunnel(Charset.forName("utf-8")), 1000,0.00001);
        return filter;
    }
    @Bean
    public BloomFilter<String> orderBloom(){
        BloomFilter<String> filter = BloomFilter.create(Funnels.stringFunnel(Charset.forName("utf-8")), 1000,0.00001);
        return filter;
    }
}

启动项目时把所有key插入布隆过滤器:

import com.baomidou.mybatisplus.core.conditions.query.QueryWrapper;
import com.google.common.hash.BloomFilter;
import com.liu.seckill.entity.SeckillGood;
import com.liu.seckill.service.SeckillGoodService;
import com.liu.seckill.service.UserService;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.InitializingBean;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.context.annotation.Configuration;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.scheduling.annotation.Scheduled;
import java.time.Duration;
import java.time.LocalDateTime;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.concurrent.TimeUnit;
 
@Slf4j
@Configuration
public class InitConfig implements InitializingBean {
    @Autowired
    UserService userService;
    @Autowired
    SeckillGoodService seckillGoodService;
    @Autowired
    RedisTemplate redisTemplate;
    @Autowired
    RedisConfig redisConfig;
    @Autowired
    @Qualifier("goodsIDBloom")
    BloomFilter<String> goodsIDBloom;
    /**
     * 把商品库存加载到 Redis中
     * 每天更新
     * @throws Exception
     */
    @Override
    @Scheduled(fixedRate = 1000*60*60*24)
    public void afterPropertiesSet() throws Exception {
        //只缓存秒杀还没结束或秒杀还没开始的商品
        List<SeckillGood> seckillGoods = seckillGoodService.list(new QueryWrapper<SeckillGood>().ge("end_time", LocalDateTime.now()));
        if (seckillGoods == null) {
            log.info("暂无秒杀商品");
            return;
        }
        //将秒杀商品ID和库存分别存入redis中
        List<Long> seckillGoodIDList = new ArrayList<>();
        for (SeckillGood seckillGood : seckillGoods) {
            seckillGoodIDList.add(seckillGood.getSgId());
            //设置过期时间
            long millis = Duration.between(LocalDateTime.now(), seckillGood.getEndTime()).toMillis();
            redisTemplate.opsForValue().set("seckillGoodID:"   seckillGood.getSgId(), seckillGood.getSgStock(), millis, TimeUnit.MILLISECONDS);
            //存储值到布隆过滤器中
            goodsIDBloom.put(seckillGood.getSgId() "");
        }
        redisTemplate.opsForValue().set("seckillGoodIDList:", seckillGoodIDList,1,TimeUnit.DAYS);
 
    }
}

使用布隆过滤器:

查询redis之前先走布隆过滤器,如果布隆过滤器判断没有则一定没有。

@RestController
@RequestMapping("/seckillOrder")
public class SeckillOrderController  {
 	//如果有多个布隆过滤器,就同时使用@Qualifier和@Autowired
    @Autowired
    @Qualifier("goodsIDBloom")
    BloomFilter<String> goodsIDBloom;
    @Autowired
    @Qualifier("orderBloom")
    BloomFilter<String> orderBloom;
 
    @GetMapping("/seckillGoods/{goodId}")
    public Result seckillGoods(@PathVariable("goodId") Long goodId) {
        ValueOperations valueOperations = redisTemplate.opsForValue();
 
        //判断秒杀商品是否存在
        //如果商品id在布隆过滤器中存在,那么就要再去判断在不在redis中,在,才能证明真的在
        if (goodsIDBloom.mightContain(goodId "")){
            ArrayList<Long> seckillGoodIDList = (ArrayList<Long>) valueOperations.get("seckillGoodIDList:");
            Assert.isTrue(seckillGoodIDList.contains(goodId),"未找到该商品,商品ID有误或此商品不参与秒杀或此商品秒杀已结束");
        }else {
            Assert.isTrue(false,"未找到该商品,商品ID有误或此商品不参与秒杀或此商品秒杀已结束");
        }
    }
}

到此这篇关于Java SpringBoot使用guava的布隆过滤器的文章就介绍到这了,更多相关SpringBoot使用guava 内容请搜索Devmax以前的文章或继续浏览下面的相关文章希望大家以后多多支持Devmax!

Java SpringBoot使用guava过滤器的更多相关文章

  1. SpringBoot本地磁盘映射问题

    这篇文章主要介绍了SpringBoot本地磁盘映射问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教

  2. java SpringBoot 分布式事务的解决方案(JTA+Atomic+多数据源)

    这篇文章主要介绍了java SpringBoot 分布式事务的解决方案(JTA+Atomic+多数据源),文章围绕主题展开详细的内容介绍,具有一定的参考价值,感兴趣的小伙伴可以参考一下

  3. SpringBoot整合Javamail实现邮件发送的详细过程

    日常开发过程中,我们经常需要使用到邮件发送任务,比方说验证码的发送、日常信息的通知等,下面这篇文章主要给大家介绍了关于SpringBoot整合Javamail实现邮件发送的详细过程,需要的朋友可以参考下

  4. SpringBoot详细讲解视图整合引擎thymeleaf

    这篇文章主要分享了Spring Boot整合使用Thymeleaf,Thymeleaf是新一代的Java模板引擎,类似于Velocity、FreeMarker等传统引擎,关于其更多相关内容,需要的小伙伴可以参考一下

  5. Springboot集成mybatis实现多数据源配置详解流程

    在日常开发中,若遇到多个数据源的需求,怎么办呢?通过springboot集成mybatis实现多数据源配置,简单尝试一下,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

  6. SpringBoot使用Minio进行文件存储的实现

    本文主要介绍了SpringBoot使用Minio进行文件存储的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

  7. 解析SpringBoot中使用LoadTimeWeaving技术实现AOP功能

    这篇文章主要介绍了SpringBoot中使用LoadTimeWeaving技术实现AOP功能,AOP面向切面编程,通过为目标类织入切面的方式,实现对目标类功能的增强,本文给大家介绍的非常详细,需要的朋友可以参考下

  8. 详解springboot测试类注解

    这篇文章主要介绍了springboot测试类注解,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下

  9. SpringBoot实现过滤器和拦截器的方法

    大家应该都晓得实现过滤器需要实现 javax.servlet.Filter 接口,而拦截器会在处理指定请求之前和之后进行相关操作,配置拦截器需要两步,本文通过实例代码给大家介绍SpringBoot 过滤器和拦截器的相关知识,感兴趣的朋友一起看看吧

  10. SpringBoot中使用@scheduled定时执行任务的坑

    本文主要介绍了SpringBoot中使用@scheduled定时执行任务的坑,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

随机推荐

  1. 基于EJB技术的商务预订系统的开发

    用EJB结构开发的应用程序是可伸缩的、事务型的、多用户安全的。总的来说,EJB是一个组件事务监控的标准服务器端的组件模型。基于EJB技术的系统结构模型EJB结构是一个服务端组件结构,是一个层次性结构,其结构模型如图1所示。图2:商务预订系统的构架EntityBean是为了现实世界的对象建造的模型,这些对象通常是数据库的一些持久记录。

  2. Java利用POI实现导入导出Excel表格

    这篇文章主要为大家详细介绍了Java利用POI实现导入导出Excel表格,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

  3. Mybatis分页插件PageHelper手写实现示例

    这篇文章主要为大家介绍了Mybatis分页插件PageHelper手写实现示例,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪

  4. (jsp/html)网页上嵌入播放器(常用播放器代码整理)

    网页上嵌入播放器,只要在HTML上添加以上代码就OK了,下面整理了一些常用的播放器代码,总有一款适合你,感兴趣的朋友可以参考下哈,希望对你有所帮助

  5. Java 阻塞队列BlockingQueue详解

    本文详细介绍了BlockingQueue家庭中的所有成员,包括他们各自的功能以及常见使用场景,通过实例代码介绍了Java 阻塞队列BlockingQueue的相关知识,需要的朋友可以参考下

  6. Java异常Exception详细讲解

    异常就是不正常,比如当我们身体出现了异常我们会根据身体情况选择喝开水、吃药、看病、等 异常处理方法。 java异常处理机制是我们java语言使用异常处理机制为程序提供了错误处理的能力,程序出现的错误,程序可以安全的退出,以保证程序正常的运行等

  7. Java Bean 作用域及它的几种类型介绍

    这篇文章主要介绍了Java Bean作用域及它的几种类型介绍,Spring框架作为一个管理Bean的IoC容器,那么Bean自然是Spring中的重要资源了,那Bean的作用域又是什么,接下来我们一起进入文章详细学习吧

  8. 面试突击之跨域问题的解决方案详解

    跨域问题本质是浏览器的一种保护机制,它的初衷是为了保证用户的安全,防止恶意网站窃取数据。那怎么解决这个问题呢?接下来我们一起来看

  9. Mybatis-Plus接口BaseMapper与Services使用详解

    这篇文章主要为大家介绍了Mybatis-Plus接口BaseMapper与Services使用详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪

  10. mybatis-plus雪花算法增强idworker的实现

    今天聊聊在mybatis-plus中引入分布式ID生成框架idworker,进一步增强实现生成分布式唯一ID,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

返回
顶部