当前位置: 首页 > news >正文

滑动窗口限流算法:基于Redis有序集合的实现与优化

滑动窗口限流算法是一种基于时间窗口的流量控制策略,它将时间划分为固定大小的窗口,并在每个窗口内记录请求次数。通过动态滑动窗口,算法能够灵活调整限流速率,以应对流量的波动。

算法核心步骤

  1. 统计窗口内的请求数量:记录当前时间窗口内的请求次数。
  2. 应用限流规则:根据预设的阈值判断是否允许当前请求通过。

Redis有序集合的应用

Redis的有序集合(Sorted Set)为滑动窗口限流提供了理想的实现方式。每个有序集合的成员都有一个分数(score),我们可以利用分数来定义时间窗口。每当有请求进入时,将当前时间戳作为分数,并将请求的唯一标识作为成员添加到集合中。这样,通过统计窗口内的成员数量,即可实现限流。

实现细节

Redis命令简化

通过Redis的ZADD命令,我们可以将请求的时间戳和唯一标识添加到有序集合中:

ZADD 资源标识 时间戳 请求标识
Java代码实现

以下是基于Java和Redis的滑动窗口限流实现:

public boolean isAllow(String key) {ZSetOperations<String, String> zSetOperations = stringRedisTemplate.opsForZSet();long currentTime = System.currentTimeMillis();long windowStart = currentTime - period;zSetOperations.removeRangeByScore(key, 0, windowStart);Long count = zSetOperations.zCard(key);if (count >= threshold) {return false;}String value = "请求唯一标识(如:请求流水号、哈希值、MD5值等)";zSetOperations.add(key, value, currentTime);stringRedisTemplate.expire(key, period, TimeUnit.MILLISECONDS);return true;
}
Lua脚本优化

为了确保在高并发场景下的原子性操作,我们可以将上述逻辑封装为Lua脚本:

local key = KEYS[1]
local current_time = tonumber(ARGV[1])
local window_size = tonumber(ARGV[2])
local threshold = tonumber(ARGV[3])
redis.call('ZREMRANGEBYSCORE', key, 0, current_time - window_size)
local count = redis.call('ZCARD', key)
if count >= threshold thenreturn tostring(0)
elseredis.call('ZADD', key, tostring(current_time), current_time)return tostring(1)
end
完整Java代码
package com.example.demo.controller;import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.data.redis.core.ZSetOperations;
import org.springframework.data.redis.core.script.DefaultRedisScript;
import org.springframework.stereotype.Service;import java.util.Collections;
import java.util.concurrent.TimeUnit;@Service
public class SlidingWindowRatelimiter {private long period = 60 * 1000; // 1分钟private int threshold = 3; // 3次@Autowiredprivate StringRedisTemplate stringRedisTemplate;public boolean isAllow(String key) {ZSetOperations<String, String> zSetOperations = stringRedisTemplate.opsForZSet();long currentTime = System.currentTimeMillis();long windowStart = currentTime - period;zSetOperations.removeRangeByScore(key, 0, windowStart);Long count = zSetOperations.zCard(key);if (count >= threshold) {return false;}String value = "请求唯一标识(如:请求流水号、哈希值、MD5值等)";zSetOperations.add(key, value, currentTime);stringRedisTemplate.expire(key, period, TimeUnit.MILLISECONDS);return true;}public boolean isAllow2(String key) {String luaScript = "local key = KEYS[1]\n" +"local current_time = tonumber(ARGV[1])\n" +"local window_size = tonumber(ARGV[2])\n" +"local threshold = tonumber(ARGV[3])\n" +"redis.call('ZREMRANGEBYSCORE', key, 0, current_time - window_size)\n" +"local count = redis.call('ZCARD', key)\n" +"if count >= threshold then\n" +" return tostring(0)\n" +"else\n" +" redis.call('ZADD', key, tostring(current_time), current_time)\n" +" return tostring(1)\n" +"end";long currentTime = System.currentTimeMillis();DefaultRedisScript<String> redisScript = new DefaultRedisScript<>(luaScript, String.class);String result = stringRedisTemplate.execute(redisScript, Collections.singletonList(key), String.valueOf(currentTime), String.valueOf(period), String.valueOf(threshold));return "1".equals(result);}
}

AOP实现限流

为了更方便地应用限流策略,我们可以通过AOP(面向切面编程)来拦截请求并应用限流规则。

自定义注解

首先,定义一个限流注解:

package com.example.demo.controller;import java.lang.annotation.*;@Documented
@Target(ElementType.METHOD)
@Retention(RetentionPolicy.RUNTIME)
public @interface RateLimit {long period() default 60; // 窗口大小(默认:60秒)long threshold() default 3; // 阈值(默认:3次)
}
切面实现

然后,实现一个切面来拦截带有@RateLimit注解的方法:

package com.example.demo.controller;import jakarta.servlet.http.HttpServletRequest;
import lombok.extern.slf4j.Slf4j;
import org.aspectj.lang.JoinPoint;
import org.aspectj.lang.annotation.Aspect;
import org.aspectj.lang.annotation.Before;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.data.redis.core.ZSetOperations;
import org.springframework.stereotype.Component;import java.util.concurrent.TimeUnit;@Slf4j
@Aspect
@Component
public class RateLimitAspect {@Autowiredprivate StringRedisTemplate stringRedisTemplate;@Before("@annotation(rateLimit)")public void doBefore(JoinPoint joinPoint, RateLimit rateLimit) {long period = rateLimit.period();long threshold = rateLimit.threshold();HttpServletRequest httpServletRequest = ((ServletRequestAttributes) RequestContextHolder.getRequestAttributes()).getRequest();String uri = httpServletRequest.getRequestURI();Long userId = 123L; // 模拟获取用户IDString key = "limit:" + userId + ":" + uri;ZSetOperations<String, String> zSetOperations = stringRedisTemplate.opsForZSet();long currentTime = System.currentTimeMillis();long windowStart = currentTime - period * 1000;zSetOperations.removeRangeByScore(key, 0, windowStart);Long count = zSetOperations.zCard(key);if (count >= threshold) {throw new RuntimeException("请求过于频繁!");} else {zSetOperations.add(key, String.valueOf(currentTime), currentTime);stringRedisTemplate.expire(key, period, TimeUnit.SECONDS);}}
}
使用注解

最后,在需要限流的方法上添加@RateLimit注解:

@RestController
@RequestMapping("/hello")
public class HelloController {@RateLimit(period = 30, threshold = 2)@GetMapping("/sayHi")public void sayHi() {}
}

总结

通过Redis有序集合和Lua脚本,我们实现了一个高效且灵活的滑动窗口限流算法。结合AOP,我们可以轻松地将限流策略应用到具体的业务方法中。对于更复杂的流量控制需求,可以参考阿里巴巴的Sentinel框架。

参考链接:

  • Sentinel官方文档
  • AOP实现限流
  • Redis Lua脚本

相关文章:

滑动窗口限流算法:基于Redis有序集合的实现与优化

滑动窗口限流算法是一种基于时间窗口的流量控制策略&#xff0c;它将时间划分为固定大小的窗口&#xff0c;并在每个窗口内记录请求次数。通过动态滑动窗口&#xff0c;算法能够灵活调整限流速率&#xff0c;以应对流量的波动。 算法核心步骤 统计窗口内的请求数量&#xff1…...

Angular 最新版本和 Vue 对比完整指南

1. Angular 最新版本 当前 Angular 最新稳定版本是 Angular 17(2024年初) 2. 主要区别对比表 特性 | Angular | Vue 框架类型 | 完整框架 | 渐进式框架 默认语言 | TypeScript | JavaScript/TypeScript 数据处理 | RxJS | Promise/async/await 架构特点 | 依赖注入,…...

DAY39|动态规划Part07|LeetCode:198.打家劫舍、213.打家劫舍II、337.打家劫舍III

目录 LeetCode:198.打家劫舍 基本思路 C代码 LeetCode:213.打家劫舍II 基本思路 C代码 LeetCode:337.打家劫舍III 基本思路 C代码 LeetCode:198.打家劫舍 力扣题目链接 文字讲解&#xff1a;LeetCode:198.打家劫舍 视频讲解&#xff1a;动态规划&#xff0c;偷不偷这个…...

MYSQL----------------sql 优化

优化 SQL 语句的一般步骤 1. 了解 SQL 的执行频率 SHOW STATUS LIKE Com_%;代码解释&#xff1a; SHOW STATUS LIKE Com_%;&#xff1a;此命令可以查看各种 SQL 语句的执行频率&#xff0c;例如 Com_select 表示 SELECT 语句的执行次数&#xff0c;Com_insert 表示 INSERT 语…...

深度学习中的正则化方法

最近看到了正则化的内容&#xff0c;发现自己对正则化的理解已经忘得差不多了&#xff0c;这里在整理一下&#xff0c;方便以后查阅。 深度学习中的正则化方法 1. L2 正则化&#xff08;L2 Regularization&#xff09;2. L1 正则化&#xff08;L1 Regularization&#xff09;3.…...

前端报告 2024:全新数据,深度解析未来趋势

温馨提示: 此报告为国际版全球报告,其中所涉及的技术应用、工具偏好、开发者习惯等情况反映的是全球前端开发领域的综合态势。由于国内外技术发展环境、行业生态以及企业需求等存在差异,可能有些内容并不完全契合国内的实际情况,请大家理性阅读,批判性地吸收其中的观点与信…...

计算机网络之---子网划分与IP地址

子网划分与IP地址的关系 在计算机网络中&#xff0c;子网划分&#xff08;Subnetworking&#xff09;是将一个网络划分为多个子网络的过程。通过子网划分&#xff0c;可以有效地管理和利用IP地址空间&#xff0c;提高网络的性能、安全性和管理效率。 子网划分的基本目的是通过…...

计算机网络 (31)运输层协议概念

一、概述 从通信和信息处理的角度看&#xff0c;运输层向它上面的应用层提供通信服务&#xff0c;它属于面向通信部分的最高层&#xff0c;同时也是用户功能中的最低层。运输层的一个核心功能是提供从源端主机到目的端主机的可靠的、与实际使用的网络无关的信息传输。它向高层用…...

代码随想录算法训练营day28

代码随想录算法训练营 —day28 文章目录 代码随想录算法训练营前言一、122.买卖股票的最佳时机II二、55. 跳跃游戏三、跳跃游戏 II方法一方法二 1005. K 次取反后最大化的数组和总结 前言 今天是算法营的第28天&#xff0c;希望自己能够坚持下来&#xff01; 今日任务&#x…...

建立时间和保持时间

建立时间 在时钟有效沿到来之前&#xff0c;数据必须维持一段时间保持不变&#xff0c;这段时间就是建立时间 Tsetup 1 基本概念 建立时间&#xff08;Setup Time&#xff09;&#xff1a; 在 SystemVerilog 中&#xff0c;建立时间是指在时钟信号的有效边沿&#xff08;例如…...

vue,router路由传值问题,引用官方推荐

参考贴https://blog.csdn.net/m0_57033755/article/details/129927829 根据官方文档的更新日志&#xff0c;建议使用state传值 官方文档更新日志 实际的console结果 传值 router.push({ name: KnowledgeDetail, state: { params } });接收值 const historyParams histor…...

AIDD-人工智能药物设计-AlphaFold系列:年终回顾,AlphaFold迄今为止的实际应用案例

AlphaFold系列&#xff1a;年终回顾&#xff0c;AlphaFold迄今为止的实际应用案例 01 引言 AlphaFold由 DeepMind 团队开发&#xff0c;最初在蛋白质结构预测竞赛 CASP 中惊艳亮相。随着 AlphaFold2 和后续版本的迭代进步&#xff0c;其精度和通用性不断提升&#xff0c;逐渐走…...

Scala语言的面向对象编程

Scala语言的面向对象编程 引言 在当今的软件开发中&#xff0c;面向对象编程&#xff08;OOP&#xff09;是一种非常强大且广泛使用的编程范式。Scala是一种现代编程语言&#xff0c;结合了面向对象编程和函数式编程的特性&#xff0c;非常适合用于大规模软件的开发。本文将介…...

MySQL学习记录1【DQL和DCL】

SQL学习记录 该笔记从DQL处开始记录 DQL之前值得注意的点 字段 BETWEEN min AND max 可以查询区间[min, max]的数值如果同一个字段需要满足多个OR条件&#xff0c;可以采取 字段 IN(数值1, 数值2, 数值3....)LIKE语句 字段 LIKE ___%%% 表示模糊匹配&#xff0c;_匹配一个字段…...

验证码转发漏洞

开发人员有时候会以数组的形式接收用户的手机号并遍历执行&#xff0c;这时就可以在注册或登录页面填写两个手机号并点击发送验证码&#xff0c;这两个手机号会同时收到相同验证码&#xff0c;可以用任意一个手机号登录或注册&#xff0c;即验证码转发漏洞。 1、burpsuite内置…...

使用 C++ 实现神经网络:从基础到高级优化

引言 在现代机器学习中&#xff0c;神经网络已经成为最重要的工具之一。虽然 Python 提供了诸如 TensorFlow、PyTorch 等强大的机器学习库&#xff0c;但如果你想深入理解神经网络的实现原理&#xff0c;或者出于某些性能、资源限制的考虑&#xff0c;使用 C 来实现神经网络会是…...

【WRF运行报错】总结WRF运行时报错及解决方案(持续更新)

目录 ./real.exe错误1:ERROR while reading namelist physics./wrf.exe错误1:FATAL CALLED FROM FILE: <stdin> LINE: 2419 Warning: too many input landuse types参考./real.exe 错误1:ERROR while reading namelist physics 执行./real.exe时,报错如下: taski…...

Kotlin语言的循环实现

Kotlin语言中的循环实现 Kotlin是一种现代的、跨平台的编程语言&#xff0c;广泛应用于Android开发、后端服务及多种其他软件开发领域。与Java类似&#xff0c;Kotlin也支持多种循环结构&#xff0c;包括for循环、while循环和do while循环。掌握这些循环结构是每个Kotlin开发者…...

基于CNN的人脸识别考勤管理系统实现

随着技术的不断进步&#xff0c;人脸识别技术已经在各行各业得到了广泛的应用&#xff0c;尤其在 考勤管理 上&#xff0c;它提供了更加智能、便捷、精准的解决方案。本篇博客将介绍如何基于 PyQt5 和 MySQL 实现一个 人脸识别考勤系统&#xff0c;并通过具体代码展示如何通过图…...

Android基于回调的事件处理

Android 中的回调机制&#xff1a;基于回调的事件处理详解 在 Android 开发中&#xff0c;回调&#xff08;Callback&#xff09;是一种常见的事件处理机制&#xff0c;主要用于异步操作和事件通知。与传统的基于监听器的事件处理相比&#xff0c;回调机制更加灵活、通用&…...

将浮点数转换成字符串时的注意事项

String s 11625907.5798 "";这串代码存入s的不是“11625907.5798”&#xff0c;而是“1.16259075798E7” &#xff0c;用科学计数法进行存储&#xff0c;所以要注意字符串的长度加了2...

Aruba Instant AP不止是家用:小公司无线组网与多SSID隔离实战配置指南

Aruba Instant AP不止是家用&#xff1a;小公司无线组网与多SSID隔离实战配置指南 当五人的设计工作室频繁遭遇视频会议卡顿&#xff0c;当咖啡店的顾客Wi-Fi挤占收银系统带宽&#xff0c;这些看似琐碎的痛点背后&#xff0c;都指向同一个问题&#xff1a;传统家用路由器根本无…...

从乐高到变速箱:用一个完整案例,带你吃透SolidWorks自顶向下设计

从乐高到变速箱&#xff1a;用一个完整案例&#xff0c;带你吃透SolidWorks自顶向下设计 1. 为什么自顶向下设计是机械工程师的必修课 第一次用SolidWorks完成齿轮箱设计时&#xff0c;我犯了个典型错误——先画好所有齿轮和轴&#xff0c;最后才考虑箱体结构。结果发现轴承座位…...

别再死记硬背了!用“预测-修正”的直觉理解卡尔曼滤波(附自动驾驶传感器例子)

用“预测-修正”的直觉理解卡尔曼滤波&#xff1a;自动驾驶中的传感器融合艺术 想象一下你在雾天开车&#xff0c;挡风玻璃上沾满雨滴&#xff0c;后视镜模糊不清。此时你需要同时依赖速度表读数、前方车辆尾灯的位置记忆、以及隐约可见的路标来判断自己的位置和速度——这本质…...

快速原型:用快马ai一键生成openclaw在mac上的自动化安装脚本

最近在Mac上折腾OpenClaw这个开源工具时&#xff0c;发现它的安装过程对新手确实不太友好。作为一个经常需要快速验证工具可行性的开发者&#xff0c;我尝试用InsCode(快马)平台来生成自动化安装脚本&#xff0c;整个过程意外地顺畅。下面分享下我的实践心得&#xff1a; 环境检…...

Flutter 状态管理:Provider, Bloc, GetX 对比

Flutter作为跨平台开发框架&#xff0c;其状态管理一直是开发者关注的核心问题。不同的状态管理方案各有优劣&#xff0c;如何选择适合项目的方案成为关键。本文将对比三种主流方案——Provider、Bloc和GetX&#xff0c;从学习成本、代码结构、性能表现等维度展开分析&#xff…...

MaxKB源码部署实战:当Docker遇上Poetry,如何优雅解决PostgreSQL pgvector依赖和路径硬编码问题?

MaxKB源码部署实战&#xff1a;当Docker遇上Poetry&#xff0c;如何优雅解决PostgreSQL pgvector依赖和路径硬编码问题&#xff1f; 在开源项目部署过程中&#xff0c;技术选型与工具链的碰撞往往会催生一系列意料之外的问题。最近在Docker环境中部署MaxKB知识库系统时&#xf…...

Ubuntu24.04下Qt6高效安装指南:从镜像加速到依赖解决

1. 准备工作&#xff1a;系统检查与资源规划 在开始安装Qt6之前&#xff0c;我们需要先做好基础准备工作。很多新手容易忽略这个环节&#xff0c;结果安装到一半才发现磁盘空间不足或者系统版本不兼容。我自己就曾经吃过这个亏&#xff0c;当时安装到90%突然报错&#xff0c;排…...

Retinaface+CurricularFace人脸识别:高清人脸比对效果案例分享

RetinafaceCurricularFace人脸识别&#xff1a;高清人脸比对效果案例分享 1. 开篇&#xff1a;为什么选择这个组合方案 人脸识别技术已经渗透到我们生活的方方面面&#xff0c;从手机解锁到机场安检&#xff0c;从考勤打卡到金融认证。但在实际应用中&#xff0c;一个稳定可靠…...

Habitat入门教程:如何构建你的第一个自动化应用包

Habitat入门教程&#xff1a;如何构建你的第一个自动化应用包 【免费下载链接】habitat Modern applications with built-in automation 项目地址: https://gitcode.com/gh_mirrors/hab/habitat Habitat是一个现代化的应用自动化平台&#xff0c;它通过内置的自动化功能…...