前端并发控制
本文讲解Promise,callback,RxJS多种方式实现并发限制
1.Promise
目前来说,Promise是最通用的方案,一般我们最先想到Promise.all
,当然最好是使用新出的Promise.allsettled
。
下面简单介绍下二者的区别,假如存在某个请求失败时,all
会整体失败,而allsettled
只会让单个请求失败,对于大部分情况来说,allsettled
的是更好的选择,因为allsettled
更为灵活,一般来说面对这种情况,总共有三种处理方式,如下所示,all
只能支持第一种,而allsettled
三种都支持:
-
整体失败
-
最终结果,过滤失败的选项
-
将单个失败的保留,并渲染到UI中
方法1 全部并发
直接使用Promise.all
是最简单的,代码如下,然后all
并没有并发控制能力,一瞬间会将全部请求发出,从而造成前面提到的浏览器卡顿问题。
这里get
函数我们使用setTimeout
+随机时间来模拟请求,其返回promise实例。
function gets(ids, max) {return Promise.all(ids.map(id => get(id)))
}function get(id) {return new Promise((resolve) => {setTimeout(() => { resolve({ id }) }, Math.ceil(Math.random() * 5))});
}
方法2 分批并发
你可能会想到一种分批发送的办法,将请求按max
数量分成N个组,每组并行发送,这需要结合递归和Promise.all
,示例代码如下:
function gets(ids, max) {let index = 0;const result = [];function nextBatch() {const batch = ids.slice(index, index + max);index += max;return Promise.all(batch.map(get)).then((res) => {result.push(...res);if (index < ids.length) {return nextBatch();}return result;});}return nextBatch();
}
这种方法的优势在于实现相对简单,容易理解。但是它的缺点是,每一批请求中的最慢的请求会决定整个批次的完成时间,这可能会导致一些批次的其他请求早早完成后需要等待,从而降低整体的并发效率。
这种方法在业务中是不太能接受的,面试中的话,也只能勉强及格。
方法3 限制并发
一个更高效的思路是使用异步并发控制,而不是简单的批处理。这种方法可以在任何时刻都保持最大数量的并发请求,而不需要等待整个批次完成。这需要我们维护一个请求池,在每个请求完成时,将下一个请求添加到请求池中,示例代码如下:
gets
函数返回一个promise,在请求全部完成后,promise变为fulfilled
状态;内部采用递归,每个请求成功和失败后,发送下一个请求;在最下面先发送max
个请求到请求池中。
function gets(ids, max) {return new Promise((resolve) => {const res = [];let loadcount = 0;let curIndex = 0;function load(id, index) {return get(id).then((data) => {loadcount++;if (loadcount === ids.length) {res[index] = data;resolve(res);} else {curIndex++;load(ids[curIndex]);}},(err) => {res[index] = err;loadcount++;curIndex++;load(ids[curIndex]);});}for (let i = 0; i < max && i < ids.length; i++) {curIndex = i;load(ids[i], i);}});
}
2.callback
在Promise之前,js中的异步都是基于回调函数的,比如 jQuery 的 ajax,Node.js 中的 http 模块等。
茴字有多种写法,下面我们挑战一下使用callback来解决这个问题。下面我们先把get
函数改造一下,基于回调函数的get
如下所示:
function get(id, success, error) {setTimeout(() => success({ id }), Math.ceil(Math.random() * 5))
}
gets
函数的接口也要改成回调函数,如下所示:
function gets(ids, max, success, error) {}
回调函数也是基于上面的思路,把上面的代码稍加改动即可,将其中的Promise换成callback
,示例如下:
还记得前面让你想其他思路吗,还有一种结合递归和异步函数的方法,在Promise下会比这种方法更简单,但其实还是这个思路更好,Promise和callback都可以使用。
function gets(ids, max, success, error) {const res = [];let loadcount = 0;let curIndex = 0;function load(id, index) {return get(id,(data) => {loadcount++;if (loadcount === ids.length) {res[index] = data;success(res);} else {curIndex++;load(ids[curIndex]);}},(err) => {res[index] = err;loadcount++;curIndex++;load(ids[curIndex]);});}for (let i = 0; i < max && i < ids.length; i++) {curIndex = i;load(ids[i], i);}
}
3.RxJS
看看RxJS,绝大部分人都不太了解RxJS,RxJS号称异步编程的lodash,对于这个问题,其代码实现会非常简单。
RxJS 是一个用于处理异步数据流的 JavaScript 库,它通过「可观察对象」(Observable)来代表随时间推移发出值的数据流。你可以使用一系列操作符(如
map
、filter
、merge
等)来处理这些数据流,并通过「订阅」(subscribe)来观察并执行相关操作。RxJS 使得处理复杂的异步逻辑变得简单而优雅,特别适合于实现并发控制等场景。
上面是RxJS的简介,相信看完了还是不理解,RxJS其实是比较难学的,建议大家阅读其他扩展资料。
下面先用RxJS改造我们的get
函数,改造完如下所示,这需要用到Observable
和observer
,这些都是RxJS的概念,即便不知道其含义,看代码和Promise是比较相似的。
import { Observable } from 'RxJS';function get(id) {return new Observable((observer) => {setTimeout(() => {observer.next({ id });observer.complete();}, Math.ceil(Math.random() * 5));});
}
下面我们参考Promise中的思路,依次看看在RxJS中如何实现。
方法1 全部并发
在RxJS中和Promise.all
类似的功能是forkJoin
,这种方法最简单,代码如下所示,和Promise.all
类似,这并不满足我们的需求。
import { forkJoin } from 'RxJS';function gets(ids) {const observables = ids.map(get);return forkJoin(observables);
}
方法2 分批并发
下面来看下如何实现分批并发,在Promise中我们使用递归+Promise.all
来实现的。
在RxJS中,我们使用concatMap
操作符来确保这些组是依次处理的,而不是同时处理。在处理每个组时,我们使用forkJoin
来并行处理组内的所有请求。最后,我们使用reduce
操作符来将所有组的结果合并成一个一维数组。
如果不理解RxJS,我们单纯看代码,可以看到RxJS代码的表现性更强,通过语义化的操作符串联,就完成了Promise中很多命令式的代码。
import { from, forkJoin } from 'RxJS';
import { concatMap, reduce } from 'RxJS/operators';function gets(ids, max) {// 将ids按max分组const groups = [];for (let i = 0; i < ids.length; i += max) {groups.push(ids.slice(i, i + max));}// 使用concatMap控制组之间的串行执行,并在每一组内使用forkJoin实现并行请求// 使用reduce来收集和合并所有组的结果return from(groups).pipe(concatMap((group) => forkJoin(group.map(get))),reduce((acc, results) => acc.concat(results), []));
}
方法3 限制并发
最后我们来看看RxJS如何实现限制并发,在这个实现中,我们使用mergeMap
来控制并发,并使用一个Map
对象来存储每个请求的结果,其中键是ID,值是请求结果。这样,我们可以在所有请求完成后,按照原始ID数组的顺序从Map
中提取结果。
示例代码如下,控制并发是RxJS支持的功能,实现就是一个参数,非常简单
function gets(ids, max) {return from(ids).pipe(mergeMap((id) => get(id).pipe(map(result => ({ id, result }))), max),reduce((acc, { id, result }) => acc.set(id, result), new Map()),map(resMap => ids.map(id => resMap.get(id))));
}
总结
我们探讨了使用Promise,callback和RxJS的方式实现并发限制,每种方式中又介绍了三种代码思路,包括全部并发、分批并发以及限制并发。每种方法都有其适用场景和优缺点:
-
「全部并发」适用于需要将请求分批次处理的场景,简单易懂,但可能不是最高效的方法。
-
「分批并发」在保持一定并发度的同时,避免同时发出过多的请求,适用于需要控制资源消耗的场景。
-
「限制并发」则结合了并发的高效性和结果顺序的一致性,适用于对结果顺序有要求的并发请求处理。
通过选择合适的方法,我们可以在保证性能的同时,满足不同场景下对并发控制的需求。
再次给大家安利RxJS,RxJS作为一个强大的响应式编程库,为我们提供了灵活而强大的工具来处理这些复杂的异步逻辑。
文章的最后,我想引申下请求层的概念,在实际项目中,请求层的设计和实现对整个应用的性能和稳定性至关重要。一个健壮的请求层不仅能够处理基本的数据请求和响应,还能够应对各种复杂的网络环境和业务需求。以下是请求层可以处理的一些常见问题:
-
「失败和错误处理」:优雅地处理请求失败和服务器返回的错误,提升用户体验。
-
「失败重试」:在请求失败时自动重试,增加请求的成功率。
-
「接口降级」:在服务不可用时,提供备选方案,保证应用的基本功能。
-
「模拟接口」:在后端服务尚未开发完成时,模拟接口响应,加速前端开发。
-
「模拟列表接口」:模拟分页、排序等列表操作,方便前端调试和测试。
-
「接口聚合和竞态」:合并多个接口请求,减少网络开销;处理接口请求的竞态问题,确保数据的一致性。
-
「逻辑聚合」:将多个资源的创建和更新等操作聚合成一个请求,简化前端逻辑。
-
「控制并发数量」:限制同时进行的请求数量,避免过度消耗资源。
-
「前端分页」:在前端进行数据分页,减轻后端压力。
-
「超时设置」:为每个请求设置超时时间,防止长时间等待。
通过在请求层中实现这些功能,我们可以使得前端应用更加稳定和可靠,同时也提升了用户的体验。因此,「加强请求层的建设」是每个前端项目都应该重视的一个方面。
相关文章:
前端并发控制
本文讲解Promise,callback,RxJS多种方式实现并发限制 1.Promise 目前来说,Promise是最通用的方案,一般我们最先想到Promise.all,当然最好是使用新出的Promise.allsettled。 下面简单介绍下二者的区别,假…...

基于YOLOv8深度学习的橙子病害智能诊断与防治系统【python源码+Pyqt5界面+数据集+训练代码】深度学习实战、目标分类
《博主简介》 小伙伴们好,我是阿旭。专注于人工智能、AIGC、python、计算机视觉相关分享研究。 ✌更多学习资源,可关注公-仲-hao:【阿旭算法与机器学习】,共同学习交流~ 👍感谢小伙伴们点赞、关注! 《------往期经典推…...

Java中的多线程详解(超级简单理解)(上篇)
使用工具 IntelliJ IDEA Community Edition 2023.1.4 使用语言 Java8 代码能力快速提升小方法,看完代码自己敲一遍,十分有用 目录 1.多线程概述 1.1 进程与线程 1.2 多线程的运行机制 1.3 多线程的优势 2.多线程编程 2.1 Thread类介绍 2.2 …...
Elastic-Job 分布式任务调度
一、使用场景 (1)分布式项目中 定时任务。如果只部署一台机器,可用性无法保证,如果定时任务机器宕机,无法故障转移,如果部署多台机器时,同一个任务会执行多次,任务重复执行也会出问…...

YZ系列工具之YZ09: VBA_Excel之读心术
我给VBA下的定义:VBA是个人小型自动化处理的有效工具。利用好了,可以大大提高自己的工作效率,而且可以提高数据的准确度。我的教程一共九套一部VBA手册,教程分为初级、中级、高级三大部分。是对VBA的系统讲解,从简单的…...
Python下载音乐
今天我就来分享一下我的方法:Python爬虫 在CS dn社区中我浏览了许多关于爬虫代码,可都有各自的缺陷,有的需要ID比较麻烦,这里我编写了一个程序,他只需要输入歌曲名字即可进行搜索爬取并下载 话不多说,下面的程序复制…...

PCL ICP配准高阶用法——统计每次迭代的配准误差并可视化
目录 一、概述二、代码实现三、可视化代码四、结果展示本文由CSDN点云侠原创,原文链接。如果你不是在点云侠的博客中看到该文章,那么此处便是不要脸的爬虫。 一、概述 在进行论文写作时,需要做对比实验,来分析改进算法的性能,期间用到了迭代误差分布统计的比较分析,为直…...

电脑卸载软件怎么清理干净?电脑清理的5种方法
随着我们在电脑上安装和卸载各种软件,很多时候我们会发现,即使软件被卸载,其残留的文件和注册表项仍然存在于电脑中,这不仅占用了宝贵的磁盘空间,还可能影响电脑的性能。那么,如何确保在卸载软件时能够彻底…...

LLM流式方案解决方案和客户端解决方案
背景 接上一篇《LLM大模型统一封装接口解决方案》架构确定后,流式方案非常规请求,需要特殊处理。 本解决方案就是针对上一篇中所需要的流式(打字机效果进行编码) 什么是SSE SSE(Server-Sent Events,服务器发…...
ROS2 高效学习系列
ROS2 高效学习系列 1 说明2 正文 1 说明 2023 年,我们总结输出了 ROS高效入门系列 和 ROS高效进阶系列,系统学习了 ros1 基础知识和 ros 的机器人算法。由于 ros2 的普及,我们将系统学习 ros2 ,包括 ros2 基础知识和相关高级组件…...

SpringBoot + MyBatisPlus分页查询
文章目录 1.思路分析2.分页查询后端实现1.com/sun/furn/config/MybatisConfig.java 注入MyBatisPlus分页拦截器2.com/sun/furn/controller/FurnController.java 添加方法3.postman测试 3.分页查询前端实现1.src/views/HomeView.vue 引入分页导航条组件2.src/views/HomeView.vue…...
记使用sjson的一次小事故
1. 前言 之前在设计一个兼容函数的时候,使用了sjson动态设入参数,从而实现一些参数的兼容。大致的逻辑如下所示: // 有一堆不规则的json数据 {"a":"aaa","b":"bbb","any_key1":{"k…...

如何在iOS系统抓取log
前言:因为作者目前工作领域和苹果智能家居有关,然后发现一些bug其实是apple sdk原生code的问题,所以需要给apple提radar单,就需要抓ios端Log充当证据给apple看,其实ios抓log非常简单,大家感兴趣可以学习下哦…...

【嵌入式——QT】Charts常见的图表的绘制
【嵌入式——QT】Charts常见的图表的绘制 柱状图QBarSetQBarSeriesQBarCategoryAxis图示 饼图堆叠柱状图百分比柱状图散点图和光滑曲线图代码示例 柱状图 QBarSet 用于创建柱状图的数据集。 主要函数 setLabel():设置数据集标签 ;setLabelBrush()&am…...

pandas读写excel,csv
1.读excel 1.to_dict() 函数基本语法 DataFrame.to_dict (self, orientdict , into ) --- 官方文档 函数种只需要填写一个参数:orient 即可 ,但对于写入orient的不同,字典的构造方式也不同,官网一共给出了6种,…...

清华大学突破性研究:GVGEN技术,7秒内从文字到3D高保真生成
引言:3D模型生成的挑战与机遇 随着计算机图形学的发展,3D模型的生成在各个行业中变得越来越重要,包括视频游戏设计、电影制作以及AR/VR技术等。在3D建模的不同方面中,从文本描述生成3D模型成为一个特别有趣的研究领域,…...

软件测试要学习的基础知识——黑盒测试
概述 黑盒测试也叫功能测试,通过测试来检测每个功能是否都能正常使用。在测试中,把程序看作是一个不能打开的黑盒子,在完全不考虑程序内部结构和内部特性的情况下,对程序接口进行测试,只检查程序功能是否按照需求规格…...

如何用Airtest脚本连接无线Android设备?
之前我们已经详细介绍过如何用AirtestIDE无线连接Android设备,它的关键点在于,需要先 adb connect 一次,才能点击 connect 按钮无线连接上该设备: 但是有很多同学,在使用纯Airtest脚本的形式连接无线设备时,…...
c语言函数大全(C开头)
c语言函数大全(C开头) There is no nutrition in the blog content. After reading it, you will not only suffer from malnutrition, but also impotence. The blog content is all parallel goods. Those who are worried about being cheated should leave quickly. 函数名…...

初始Redis关联和非关联
基础篇Redis 3.初始Redis 3.1.2.关联和非关联 传统数据库的表与表之间往往存在关联,例如外键: 而非关系型数据库不存在关联关系,要维护关系要么靠代码中的业务逻辑,要么靠数据之间的耦合: {id: 1,name: "张三…...
零门槛NAS搭建:WinNAS如何让普通电脑秒变私有云?
一、核心优势:专为Windows用户设计的极简NAS WinNAS由深圳耘想存储科技开发,是一款收费低廉但功能全面的Windows NAS工具,主打“无学习成本部署” 。与其他NAS软件相比,其优势在于: 无需硬件改造:将任意W…...
Spring Boot 实现流式响应(兼容 2.7.x)
在实际开发中,我们可能会遇到一些流式数据处理的场景,比如接收来自上游接口的 Server-Sent Events(SSE) 或 流式 JSON 内容,并将其原样中转给前端页面或客户端。这种情况下,传统的 RestTemplate 缓存机制会…...
1688商品列表API与其他数据源的对接思路
将1688商品列表API与其他数据源对接时,需结合业务场景设计数据流转链路,重点关注数据格式兼容性、接口调用频率控制及数据一致性维护。以下是具体对接思路及关键技术点: 一、核心对接场景与目标 商品数据同步 场景:将1688商品信息…...
Golang dig框架与GraphQL的完美结合
将 Go 的 Dig 依赖注入框架与 GraphQL 结合使用,可以显著提升应用程序的可维护性、可测试性以及灵活性。 Dig 是一个强大的依赖注入容器,能够帮助开发者更好地管理复杂的依赖关系,而 GraphQL 则是一种用于 API 的查询语言,能够提…...
大语言模型(LLM)中的KV缓存压缩与动态稀疏注意力机制设计
随着大语言模型(LLM)参数规模的增长,推理阶段的内存占用和计算复杂度成为核心挑战。传统注意力机制的计算复杂度随序列长度呈二次方增长,而KV缓存的内存消耗可能高达数十GB(例如Llama2-7B处理100K token时需50GB内存&a…...

C# 求圆面积的程序(Program to find area of a circle)
给定半径r,求圆的面积。圆的面积应精确到小数点后5位。 例子: 输入:r 5 输出:78.53982 解释:由于面积 PI * r * r 3.14159265358979323846 * 5 * 5 78.53982,因为我们只保留小数点后 5 位数字。 输…...

视觉slam十四讲实践部分记录——ch2、ch3
ch2 一、使用g++编译.cpp为可执行文件并运行(P30) g++ helloSLAM.cpp ./a.out运行 二、使用cmake编译 mkdir build cd build cmake .. makeCMakeCache.txt 文件仍然指向旧的目录。这表明在源代码目录中可能还存在旧的 CMakeCache.txt 文件,或者在构建过程中仍然引用了旧的路…...

springboot 日志类切面,接口成功记录日志,失败不记录
springboot 日志类切面,接口成功记录日志,失败不记录 自定义一个注解方法 import java.lang.annotation.ElementType; import java.lang.annotation.Retention; import java.lang.annotation.RetentionPolicy; import java.lang.annotation.Target;/***…...

Xela矩阵三轴触觉传感器的工作原理解析与应用场景
Xela矩阵三轴触觉传感器通过先进技术模拟人类触觉感知,帮助设备实现精确的力测量与位移监测。其核心功能基于磁性三维力测量与空间位移测量,能够捕捉多维触觉信息。该传感器的设计不仅提升了触觉感知的精度,还为机器人、医疗设备和制造业的智…...

云安全与网络安全:核心区别与协同作用解析
在数字化转型的浪潮中,云安全与网络安全作为信息安全的两大支柱,常被混淆但本质不同。本文将从概念、责任分工、技术手段、威胁类型等维度深入解析两者的差异,并探讨它们的协同作用。 一、核心区别 定义与范围 网络安全:聚焦于保…...