当前位置: 首页 > news >正文

如果任务过多,队列积压怎么处理?

如果任务过多,队列积压怎么处理?

    • 1、内存队列满了应该怎么办
    • 2、问题要治本——发短信导致吞吐量降低的问题不能忽略!!
    • 3、多路复用IO模型的核心组件简介

1、内存队列满了应该怎么办

如图:
在这里插入图片描述
大家可以看到,虽然现在发短信和广告投递,彼此之间的执行效率不受彼此影响,但是请大家注意,投放广告之后还要把请求放到内存队列里面去,而内存空间是很有限的,比方说有一个很热情的厨师,他强行的把自己做好的菜,往客人嘴里塞,然而作为一个普通人你的肠胃对食物的消化速度远远比不了人家做菜的速度,就这样,你肠胃里的食物,还没消化完,厨师还是不停的往你嘴里送。

不用多说这样下去你的肠胃一定会有问题,那么同理发短信的速度,远远比不上商户们投放广告速度,内存就像人的肠胃样,是会被撑爆的,那么如果现在我们没办法改变我们肠胃的消化能力,又不想被热情的厨师做的菜撑爆,那我们最好先客人跟厨师说明,它的饭量大概是多少,当厨师发现你快吃不下的时候人家厨师或许就放慢做菜速度,乃至停止继续做菜了。

内存队列也是一样,我们可以通过对发送短信系统的压测,评估出一个对数据处理的执行效率,从而制定内存队列的大小,投放广高系统,刚知道队列快满的时候可以选择,延缓将数据放入队列的速度甚至极端情况,就可以将数据丢弃,因为本来发短信也不是什么太重要的事情。

2、问题要治本——发短信导致吞吐量降低的问题不能忽略!!

内存被撑爆的问题,算是解决了,但是不是有一种治标不治本呢?因为最根本的问题是还是发送短信的环节导致的?我们所谓的调整内存队列大小,换句话说就是因为发送短信的效率低下最终还是影响了系统的吞吐量,是不是很不爽呢?那么你可能会问了,创建多个线程,多部署几台与短信运营商交互的机器不就行了吗?如图

在这里插入图片描述
是的,没错,这样三个线程消费队列中的请求的的确确是加强了消费速度,但是还是有令人不舒服的地方:

线程是宝贵的系统资源,确实不想为发短信这样的事情开辟更多资源

单个线程的利用率还是很低,只要进行了短信发送就意味着这个线程将被长时间阻塞,还是没能解决消费过慢的根本原因

以一个购物狂的生活状态为背景,思考如何解决队列数据消费过慢的问题

假如有怎么一个购物狂,人生最大的快乐就是网购,拆包裹,由于对购物的热情已达到一种病态的程度,以至于当他买了一将商品之后,就日日夜夜的在快递存放点蹲守等着收自己的快递,直到拿到了才罢休。

我们把这种取快递的方式如果比作是IO操作的一种方式,那就是阻塞IO了,也就是说我只要调用了read方法我必须读取到所要的信息才行,否则我就一直在这里阻塞着。这也是发短信系统中的线程所采取的IO读写方式。

过了几天,购物狂也明白了,毕竟他还要买买买啊,老在这花大把的时间干等,也不是一个事儿,所以他现在稍微理性了些,不管在快递存放点取没取到包裹,就会回去了,但是别忘了拆包裹对他来说也是很重要的一部分。

所以他来往快递存放点的频率非常高,快递还没有送达,他就来快递存放点好几个来回,这也就表示他空手而归成了将常便饭,你想每天都要去一个地方好几回,而且也都是做的无用功,但这个过程对购物狂的时间消耗是实实在在的。

像上面这种情况就可以被看做是非阻塞IO的处理方式,当你发起IO请求的时候&#x

相关文章:

如果任务过多,队列积压怎么处理?

如果任务过多,队列积压怎么处理? 1、内存队列满了应该怎么办2、问题要治本——发短信导致吞吐量降低的问题不能忽略!!3、多路复用IO模型的核心组件简介1、内存队列满了应该怎么办 如图: 大家可以看到,虽然现在发短信和广告投递,彼此之间的执行效率不受彼此影响,但是请…...

FTP协议——BFTPD基本操作(Ubuntu+Win)

1、描述 本机(Win10)与虚拟机(Ubuntu22.04.4)上的BFTPD服务器建立FTP连接,执行一些基本操作。BFTPD安装教程:FTP协议——BFTPD安装(Linux)-CSDN博客 2、 步骤 启动BFTPD。启动文件…...

为什么需要分布式 ID?

目录 为什么需要分布式 ID 分布式 ID 的生成方法 分布式 ID 的应用场景 小结 在现代软件架构中,分布式系统架构变得越来越流行。在这些系统中,由于组件分散在不同的服务器、数据中心甚至不同的地理位置,因此要构建高性能、可扩展的应用系…...

MIT6.828 Lab2-3 Sysinfo

目录 一、实验内容二、实验过程2.1 已有的代码2.2 需补充内容/kernel/kalloc.c修改(剩余内存计算的函数)/kernel/proc.c修改(统计进程数量的函数)/kernel/defs.h修改添加/kernel/sysinfo.c文件/kernel/syscall.h修改/kernel/sysca…...

形态学操作:腐蚀、膨胀、开闭运算、顶帽底帽变换、形态学梯度区别与联系

一、总述相关概念 二、相关问题 1.形态学操作中的腐蚀和膨胀对图像有哪些影响? 形态学操作中的腐蚀和膨胀是两种常见的图像处理技术,它们通过对图像进行局部区域的像素值替换来实现对图像形状的修改。 腐蚀操作通常用于去除图像中的噪声和细小的细节&a…...

StringBufferInputStream类,你学会了吗?

在Java编程中,处理字符串数据流是一项常见的任务。 为了更灵活地处理字符串数据流,Java提供了StringBufferInputStream类,它允许将字符串转换为输入流,从而可以像处理其他输入流一样对字符串进行操作。 本文将深入探讨StringBufferInputStream类的背景、用法、优缺点以及…...

06_Tomcat

文章目录 Tomcat1.概念2.Tomcat安装3.Tomcat项目结构4.标准web项目结构5.Tomcat部署项目方式6.IDEA关联Tomcat6.1 构建tomcat和idea关联6.2 使用idea创建一个Javaweb工程6.3 使用idea将工程**构建**成一个app6.4 使用idea将构建好的app**部署**到tomcat中 Tomcat 1.概念 Tomc…...

系统安全扫描扫出了:可能存在 CSRF 攻击怎么办

公司的H5在软件安全测试中被检查出可能存在 CSRF 攻击,网上找了一堆解决方法,最后用这种方式解决了。 1、问题描述 CSRF 是 Cross Site Request Forgery的缩写(也缩写为也就是在用户会话下对某个 CGI 做一些 GET/POST 的事,RIVTSTCNNARGO一这…...

Android ART 虚拟机简析

源码基于:Android U 1. prop 名称选项名称heap 变量名称功能 dalvik.vm.heapstartsize MemoryInitialSize initial_heap_size_ 虚拟机在启动时,向系统申请的起始内存 dalvik.vm.heapgrowthlimit HeapGrowthLimit growth_limit_ 应用可使用的 max…...

Android低代码开发 - MenuPanel的源码剖析和基本使用

看了我上篇文章Android低代码开发 - 像启蒙和乐高玩具一样的MenuPanel 之后,本篇开始讲解代码。 源代码剖析 首先从MenuPanelItemRoot讲起。 package dora.widget.panelinterface MenuPanelItemRoot {/*** 菜单的标题。** return*/var title: String?fun hasTit…...

Leetcode刷题笔记3

18. 四数之和 18. 四数之和 - 力扣(LeetCode) 给你一个由 n 个整数组成的数组 nums ,和一个目标值 target 。请你找出并返回满足下述全部条件且不重复的四元组 [nums[a], nums[b], nums[c], nums[d]] (若两个四元组元素一一对应&…...

初识C语言——第二十九天

数组 本章重点 1.一维数组的创建和初始化 数组的创建 注意事项: 1.一维由低数组在内存中是连续存放的! 2.随着数组下标的增长,地址是由低到高变化的 2.二维数组的创建和初始化 注意事项: 1.二维数组在内存中也是连续存放的&am…...

LeetCode27.移除元素

题目链接: 27. 移除元素 - 力扣(LeetCode) 思路分析:同样属于经典的双指针移动问题,要掌握固定的思路即可。 算法分析:这个题目可以这样处理,我们把所有非val 的元素都向前移动,把…...

DiffMap:首个利用LDM来增强高精地图构建的网络

论文标题: DiffMap: Enhancing Map Segmentation with Map Prior Using Diffusion Model 论文作者: Peijin Jia, Tuopu Wen, Ziang Luo, Mengmeng Yang, Kun Jiang, Zhiquan Lei, Xuewei Tang, Ziyuan Liu, Le Cui, Kehua Sheng, Bo Zhang, Diange Ya…...

ComfyUI简单介绍

🍓什么是ComfyUI ComfyUI是一个为Stable Diffusion专门设计的基于节点的图形用户界面,可以通过各种不同的节点快速搭建自己的绘图工作流程。 软件打开之后是长这个样子: 同时软件本身是github上的一个开源项目,开源地址为&#…...

【内存泄漏Bug】animation未释放

问题描述 一个页面做了动画特效,这个页面有可能跳转到其他页面,并长时间不返回,该页面此时已经不活跃了,该页面的对象为无用对象,存在内存泄漏风险 问题分析 这个activity的特性是 1. 有可能跳转到其他页面 2. 有可…...

《异常检测——从经典算法到深度学习》28 UNRAVEL ANOMALIES:基于周期与趋势分解的时间序列异常检测端到端方法

《异常检测——从经典算法到深度学习》 0 概论1 基于隔离森林的异常检测算法 2 基于LOF的异常检测算法3 基于One-Class SVM的异常检测算法4 基于高斯概率密度异常检测算法5 Opprentice——异常检测经典算法最终篇6 基于重构概率的 VAE 异常检测7 基于条件VAE异常检测8 Donut: …...

Python正则模块re方法介绍

Python 的 re 模块提供了多种方法来处理正则表达式。以下是一些常用的方法及其功能介绍: 1. re.match() 在字符串的开始位置进行匹配。 import repattern r\d string "123abc456"match re.match(pattern, string) if match:print(f"匹配的字符…...

pdf使用pdfbox切割pdf文件MultipartFile

引入依赖&#xff1a; <dependency><groupId>org.apache.pdfbox</groupId><artifactId>pdfbox</artifactId><version>2.0.25</version></dependency>测试代码&#xff1a; import io.choerodon.core.iam.ResourceLevel; impo…...

力扣HOT100 - 31. 下一个排列

解题思路&#xff1a; 数字是逐步增大的 步骤如下&#xff1a; class Solution {public void nextPermutation(int[] nums) {int i nums.length - 2;while (i > 0 && nums[i] > nums[i 1]) i--;if (i > 0) {int j nums.length - 1;while (j > 0 &&…...

EasyAnimateV5-7b-zh-InP与Java集成开发实战

EasyAnimateV5-7b-zh-InP与Java集成开发实战 1. 企业级视频生成需求与解决方案 现在很多企业都需要视频内容&#xff0c;电商要商品展示视频&#xff0c;教育机构要教学动画&#xff0c;营销团队要广告视频。传统视频制作成本高、周期长&#xff0c;一个简单的商品视频可能就…...

seo推广团队如何进行信息流推广

SEO推广团队如何进行信息流推广 在当今数字化时代&#xff0c;信息流推广已成为各大品牌和企业提升知名度、吸引客户的重要手段。信息流推广通过社交媒体、新闻门户网站和其他内容平台&#xff0c;将高质量的信息推送给目标用户&#xff0c;达到品牌曝光和销售转化的目的。SEO…...

Asterisk 实战速成:从零搭建企业级呼叫中心

1. 为什么选择Asterisk搭建企业级呼叫中心 第一次接触Asterisk是在2015年&#xff0c;当时公司需要快速搭建一个200坐席的客服系统。市面上商业解决方案动辄几十万的报价让我们望而却步&#xff0c;而Asterisk这个开源PBX系统完美解决了我们的需求。十年过去了&#xff0c;Aste…...

开源工具Unlock Music:重获音频自由的完整指南

开源工具Unlock Music&#xff1a;重获音频自由的完整指南 【免费下载链接】unlock-music 在浏览器中解锁加密的音乐文件。原仓库&#xff1a; 1. https://github.com/unlock-music/unlock-music &#xff1b;2. https://git.unlock-music.dev/um/web 项目地址: https://gitc…...

圣女司幼幽-造相Z-Turbo效果展示:澄澈苍穹背景的渐变色阶与大气散射光学效果还原

圣女司幼幽-造相Z-Turbo效果展示&#xff1a;澄澈苍穹背景的渐变色阶与大气散射光学效果还原 圣女司幼幽-造相Z-Turbo是基于Z-Image-Turbo的Lora版本模型&#xff0c;专门用于生成《牧神记》中圣女司幼幽的高质量图像。本文将展示该模型在还原澄澈苍穹背景的渐变色阶与大气散射…...

终极多店铺管理指南:如何在Fecshop中轻松运营多个独立商城

终极多店铺管理指南&#xff1a;如何在Fecshop中轻松运营多个独立商城 【免费下载链接】yii2_fecshop Yii2_fecshop是一个基于Yii2框架的电商系统&#xff0c;适合用于搭建在线商城、B2C网站等。特点&#xff1a;功能丰富、易于扩展、支持多种支付方式。 项目地址: https://g…...

歌词工具颠覆体验:LRCGet本地音乐歌词同步与音乐管理全攻略

歌词工具颠覆体验&#xff1a;LRCGet本地音乐歌词同步与音乐管理全攻略 【免费下载链接】lrcget Utility for mass-downloading LRC synced lyrics for your offline music library. 项目地址: https://gitcode.com/gh_mirrors/lr/lrcget 在数字音乐时代&#xff0c;本地…...

3个维度解放双手:macOS开源自动点击器的效率革命

3个维度解放双手&#xff1a;macOS开源自动点击器的效率革命 【免费下载链接】macos-auto-clicker A simple auto clicker for macOS Big Sur, Monterey, Ventura, Sonoma and Sequoia. 项目地址: https://gitcode.com/gh_mirrors/ma/macos-auto-clicker 在数字化工作流…...

如何快速清理Windows冗余驱动:Driver Store Explorer终极指南

如何快速清理Windows冗余驱动&#xff1a;Driver Store Explorer终极指南 【免费下载链接】DriverStoreExplorer Driver Store Explorer 项目地址: https://gitcode.com/gh_mirrors/dr/DriverStoreExplorer 系统盘空间莫名消失&#xff1f;新硬件总是识别失败&#xff1…...

BetterGI原神智能辅助工具完整教程:5大核心功能快速上手

BetterGI原神智能辅助工具完整教程&#xff1a;5大核心功能快速上手 【免费下载链接】better-genshin-impact &#x1f4e6;BetterGI 更好的原神 - 自动拾取 | 自动剧情 | 全自动钓鱼(AI) | 全自动七圣召唤 | 自动伐木 | 自动刷本 | 自动采集/挖矿/锄地 | 一条龙 | 全连音游 -…...