当前位置： 首页 > news >正文

雪崩 - 如何重试 - sla和重试风暴的双保证

news 2026/3/27 18:17:38

父文章 异常导致级联雪崩的例子 - 不应该有立即重试._个人渣记录仅为自己搜索用的博客-CSDN博客

一个系统处于稳态临界点

  如果立即重试3次, 会导致流量瞬间增大, 哪怕后来系统10s内自愈了, 这个时候, 流量本质上增加了3倍. 如果rpc框架不是fastFail ( 超过 调用方失败timeout上限 )( 前提是网络io还没到瓶颈,即tcp连接还是能连上 ) , 因为做不到这点, 所以都是非fastFail的系统, 除了上游自己能控制的,例如锁等待还是fastFail , 那么就会让流量继续堆积, 哪怕后续稳定了 一直在处理重复的请求. 

rpc    fastFail的本质.

        1. fail是哪层?

           线程池满了, fail了, 有队列 ,那么对线程池满了这个fail,就不是fastFail. 放入队列是一种方式, 就变成了不fail. 但是这个就会引发重试导致的一直在处理重复的请求的问题, 故障恢复就比较慢.  

           如果把线程池设置的无限大, 导致切换非常频繁, cpu时间* 线程池数>3s了, 新的一个流量端过来,要等待3s才能执行上或者执行完, 再加上io,时间, 上游肯定又重试, 这样子3倍io流量还是维持. 所以单cpu线程池不能超过300, 因为cpu时间执行10毫秒是正常的. 现在需要统计cpu执行时间.  线程数 系统失败还是维持. 和fastFail无关了. 本质是3倍流量已经支持不住了 ,  但是很少支持不了3倍线程池, 更多的是限制线程池数. 这样新来的流量不需要叠加排队时间, cpu执行时间 + io时间.

   队列长度 * rpc平均执行时间 ( cpu耗时 + io耗时 ) <= 外部调用超时设置( 3s )  队列长度需要能够动态控制. 如果不能动态控制, 就不要实现队列长度.

  python的GIL锁 不一样, 类似于cpu的切换,   而不是单线程. cpu耗时 * 线程数量 < 3s   , 线程数量可以很多 ,但也不能无限多, 线程池满了之后需要fastFail

如果下游大面积失败，这种时候是不适合重试的，我们可以配置一个比如请求量超过100且失败率超过10%不重试的策略, (统计窗口是1s,3s,10s,30s,60s ,超过1分钟都没有超过100, 这种全量重试也无妨.), 这样在单机层面就可以避免很多不必要的重试。

相关文章：

雪崩 - 如何重试 - sla和重试风暴的双保证

父文章 异常导致级联雪崩的例子 - 不应该有立即重试._个人渣记录仅为自己搜索用的博客-CSDN博客 一个系统处于稳态临界点 如果立即重试3次, 会导致流量瞬间增大, 哪怕后来系统10s内自愈了, 这个时候, 流量本质上增加了3倍. 如果rpc框架不是fastFail ( 超过 调用方失败timeout上…...

编程日记 2023/6/9 0:49:52

[网鼎杯 2018]Fakebook1

拿到题目后是一个博客的界面&#xff0c;这里可以登录和注册 点入登录界面&#xff0c;猜测可能是sql注入 试了很多次&#xff0c;都不是&#xff0c;也没有回显报错&#xff0c;所以把目光放到了注册上面 注册的其他行数据&#xff0c;差不多都可以乱填&#xff0c;只有一个bl…...

编程日记 2023/6/9 0:44:50

Oracle-第一章-多表查询和其他

4多表关联查询 4.1表的别名 ①在多表关联查询时&#xff0c;如果多个表之间存在同名的列&#xff0c;则必须用表名限定列的引用如dept.deptno,emp.deptno ②为使语句简洁&#xff0c;使用表别名&#xff0c;表别名在from子句中定义如 emp e ③表别名一经定义&#xff0c;在整…...

编程日记 2023/6/9 0:39:49

Office Visio 2016安装

哈喽&#xff0c;大家好。今天一起学习的是Visio 2016的安装&#xff0c;这是一个绘制流程图的软件&#xff0c;用有效的绘图表达信息&#xff0c;比任何文字都更加形象和直观。Office Visio 是office软件系列中负责绘制流程图和示意图的软件&#xff0c;便于IT和商务人员就复杂…...

编程日记 2023/6/9 0:34:48

GPT从入门到精通之 GPT 模型入门及原理介绍

GPT 模型入门及原理介绍 如果你关心人工智能&#xff0c;并关注最新的自然语言处理技术&#xff0c;那么你可能听说过 GPT 模型。GPT&#xff08;Generative Pre-trained Transformer&#xff09;是 OpenAI [1] 研究团队开发的一种基于 Transformer 架构的模型&#xff0c;能够…...

编程日记 2023/6/9 0:29:47

USB数据线上的“疙瘩”

在不少键盘、鼠标或是游戏外设的数据线末端我们都能见到一小段金属圆环。虽然这算得上是习以为常的一个设计&#xff0c;但如果说到其具体作用的话很多人一下子还真回答不上来。反正笔者在这里先可以告诉大家&#xff0c;这货肯定不是简简单单的配重块或是装饰品&#xff0c;要…...

编程日记 2023/6/9 0:24:44

公司新来了个00后测开，上来一顿操作给我秀麻了.....

开年公司新来了个同事&#xff0c;听说大学是学的广告专业&#xff0c;因为喜欢IT行业就找了个培训班&#xff0c;后来在一家小公司实习半年&#xff0c;现在跳槽来我们公司。来了之后把现有项目的性能优化了一遍&#xff0c;服务器缩减一半&#xff0c;性能反而提升4倍!给公司…...

编程日记 2023/6/9 0:19:43

深度学习架构-Tensorflow

深度学习基本概念 人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能的目的 就是让计算机能够像人一样思考。 强人工智能&#xff1a;就是要使机器学习人的理解、学习和执行任务的能力。 弱人工智能&#xff1a;指用…...

编程日记 2023/6/9 0:14:41

SpringBoot 使用validator进行参数校验（实例操作+注意事项+自定义参数校验）

一、实例操作 ①、引入依赖 <dependency><groupId>org.hibernate</groupId><artifactId>hibernate-validator</artifactId><version>6.0.4.Final</version></dependency> ②、创建实体类 package com.springboot.entity;im…...

编程日记 2023/6/9 0:09:41

字节测开岗面试记：二面被血虐，幸好还是拿到了Offer.....

在互联网做了几年之后&#xff0c;去大厂“镀镀金”是大部分人的首选。大厂不仅待遇高、福利好&#xff0c;更重要的是&#xff0c;它是对你专业能力的背书&#xff0c;大厂工作背景多少会给你的简历增加几分竞争力。 但说实话&#xff0c;想进大厂还真没那么容易。最近面试字…...

编程日记 2023/6/9 0:04:40

只会标准答案，是不可救药的愚蠢

听说今天高考&#xff0c;谨以此文作为高考寄语。 前段时间网上看到一个金句&#xff0c;非常值得分享&#xff0c;“最难沟通的&#xff0c;不是那些头脑空空的人&#xff0c;而是满脑子只有标准答案的人”。 前两天直播我放了一首何勇的老歌&#xff0c;当时年轻的时候&#…...

编程日记 2023/6/8 23:59:38

RocketMQ broker启动失败

版本&#xff1a;4.9.3 现象&#xff1a;NameServer启动没问题&#xff0c;Broker无法启动。 查看日志&#xff0c;没有broker方面的报错&#xff0c;应该是整个服务都没起来。 于是开始网上搜索解决方案&#xff1a; 方案1&#xff1a; 删除store文件夹。 删除之后问题依…...

编程日记 2023/6/8 23:54:37

浅谈useMemo函数

什么是 useMemo&#xff1f; useMemo 是 React 中的一个 Hook&#xff0c;它可以用来缓存计算结果&#xff0c;并在后续的渲染中重复利用这些计算结果。useMemo 接收两个参数&#xff1a;一个函数和一个依赖数组。当依赖数组中的任何一个值发生变化时&#xff0c;useMemo 会重…...

编程日记 2023/6/8 23:49:35

【Python】Python系列教程-- Python3 推导式（十九）

文章目录 前言列表推导式字典推导式集合推导式元组推导式&#xff08;生成器表达式&#xff09; 前言 往期回顾&#xff1a; Python系列教程–Python3介绍&#xff08;一&#xff09;Python系列教程–Python3 环境搭建&#xff08;二&#xff09;Python系列教程–Python3 VSc…...

编程日记 2023/6/8 23:44:33

docker对cpu资源做限制

系列文章目录 文章目录 系列文章目录一、cgroup1.groups四大功能2.CPU 资源控制 二、1.限制可用的 swap 大小&#xff0c; --memory-swap2.对磁盘IO配额控制&#xff08;blkio&#xff09;的限制 总结 一、cgroup 1.groups四大功能 资源限制&#xff1a;可以对任务使用的资源…...

编程日记 2023/6/8 23:39:32

国际化语言项目

基本概念 1、使用QString对象表示所有用户可见的文本。由于QString内部使用Unicode编码实现&#xff0c;所以它可以用 于表示所有需要向用户呈现的文本。当然&#xff0c;对于仅程序员可见的文本并不需要都变为QString对象&#xff0c;可利 用Qt提供的QCString或原始的“char …...

编程日记 2023/6/8 23:34:31

交直流系统潮流计算及相互关联特性分析（Matlab代码实现）

&#x1f4a5;&#x1f4a5;&#x1f49e;&#x1f49e;欢迎来到本博客❤️❤️&#x1f4a5;&#x1f4a5; &#x1f3c6;博主优势&#xff1a;&#x1f31e;&#x1f31e;&#x1f31e;博客内容尽量做到思维缜密&#xff0c;逻辑清晰&#xff0c;为了方便读者。 ⛳️座右铭&a…...

编程日记 2023/6/8 23:29:30

如何快速掌握Facebook运营+独立站运营基础？

在当今数字化时代&#xff0c;Facebook运营和独立站运营成为许多企业和个人创业者的关键战略。通过巧妙地结合这两个渠道&#xff0c;你可以有效地推广品牌、吸引目标受众并实现商业目标。本文将为你介绍如何快速掌握Facebook运营和独立站运营的基础知识&#xff0c;为你的业务…...

编程日记 2023/6/8 23:24:21

Java之旅（十三）

Java 类 Java类是Java编程语言中的基本构建块&#xff0c;是一种用户定义的数据类型&#xff0c;它可以被看作是一个模板或蓝图。它是对象的模板&#xff0c;&#xff0c;描述了一组具有相同特征&#xff08;属性&#xff09;和行为&#xff08;方法&#xff09;的对象。Java …...

编程日记 2023/6/8 23:14:18

Calibre 6.18.1 正式发布，功能强大的开源电子书工具

导读Calibre 开源项目是 Calibre 官方出的电子书管理工具。它可以查看&#xff0c;转换&#xff0c;编辑和分类所有主流格式的电子书。Calibre 是个跨平台软件&#xff0c;可以在 Linux、Windows 和 macOS 上运行。 Calibre 6.18.1 正式发布&#xff0c;此次更新内容如下&#…...

编程日记 2023/6/8 23:09:16

PTA编程题‘Person抽象类’避坑指南：变量命名冲突、多态指针数组与输出格式化的那些坑

PTA编程题‘Person抽象类’避坑指南&#xff1a;变量命名冲突、多态指针数组与输出格式化的那些坑 在C面向对象编程的实战中&#xff0c;抽象类和派生类的设计看似简单&#xff0c;却暗藏诸多陷阱。许多初学者在完成PTA/LeetCode这类编程题时&#xff0c;往往因为一些看似微不足…...

编程新知 2026/3/27 18:08:09

七牛云图床避坑指南：如何避免CNAME解析和HTTPS配置中的常见错误

七牛云图床高阶配置实战&#xff1a;CNAME与HTTPS深度排错手册 第一次用七牛云图床时&#xff0c;我在凌晨三点对着屏幕上的404错误发呆——明明按照文档一步步操作&#xff0c;为什么图片死活加载不出来&#xff1f;后来才发现是CNAME解析的TTL缓存问题。这种看似简单的配置背…...

编程新知 2026/3/27 17:45:59

跨平台B站工具箱：BiliTools让你的视频下载体验焕然一新

跨平台B站工具箱&#xff1a;BiliTools让你的视频下载体验焕然一新 【免费下载链接】BiliTools A cross-platform bilibili toolbox. 跨平台哔哩哔哩工具箱&#xff0c;支持视频、音乐、番剧、课程下载……持续更新 项目地址: https://gitcode.com/GitHub_Trending/bilit/Bil…...

编程新知 2026/3/27 17:21:55

终极Windows 11安装指南：3分钟轻松绕过硬件检测限制

终极Windows 11安装指南&#xff1a;3分钟轻松绕过硬件检测限制 【免费下载链接】MediaCreationTool.bat Universal MCT wrapper script for all Windows 10/11 versions from 1507 to 21H2! 项目地址: https://gitcode.com/gh_mirrors/me/MediaCreationTool.bat 还在为…...

编程新知 2026/3/27 15:37:02

3大场景解析：开源工具如何重构MobaXterm的专业版体验

3大场景解析&#xff1a;开源工具如何重构MobaXterm的专业版体验 【免费下载链接】MobaXterm-Keygen MobaXterm Keygen Originally by DoubleLabyrinth 项目地址: https://gitcode.com/gh_mirrors/mob/MobaXterm-Keygen 在开发者的日常工作中&#xff0c;终端工具的选择…...

编程新知 2026/3/27 15:04:50

全桥LLC变换器死区时间优化实战：从IGBT硬开通到完美ZVS的调试记录

全桥LLC变换器死区时间优化实战&#xff1a;从IGBT硬开通到完美ZVS的调试记录 在电力电子领域&#xff0c;LLC谐振变换器因其高效率、高功率密度和良好的EMI特性&#xff0c;已成为中高功率应用的理想选择。然而&#xff0c;实际调试过程中&#xff0c;死区时间与励磁电感的匹配…...

编程新知 2026/3/27 14:24:25

深入浅出ESP32蓝牙HID协议：从报文解析到游戏手柄开发

深入浅出ESP32蓝牙HID协议&#xff1a;从报文解析到游戏手柄开发 在物联网设备与人机交互技术深度融合的今天&#xff0c;蓝牙HID协议已成为连接智能硬件与终端设备的重要桥梁。ESP32作为一款集成Wi-Fi和蓝牙双模通信的微控制器&#xff0c;凭借其出色的性价比和丰富的开发资源…...

编程新知 2026/3/27 12:20:29

FireRedASR-AED-L在软件测试中的应用：语音交互功能自动化测试

FireRedASR-AED-L在软件测试中的应用&#xff1a;语音交互功能自动化测试 你有没有想过&#xff0c;那些能听懂你说话的手机应用、智能音箱或者车载系统&#xff0c;它们的“听力”到底准不准&#xff1f;开发团队是怎么确保你每次说“播放音乐”或者“导航回家”&#xff0c;…...

编程新知 2026/3/27 11:07:53

沃虎电子：SFP连接器在高速光模块中的应用与选型要点

SFP&#xff08;Small Form-factor Pluggable&#xff09;连接器是现代光通信设备的核心接口组件&#xff0c;广泛应用于交换机、服务器、光模块等设备。随着数据中心向400G/800G演进&#xff0c;SFP连接器的性能要求不断提升。本文从工程实践角度&#xff0c;系统介绍SFP连接器…...

编程新知 2026/3/27 10:47:50

Windows HEIC缩略图终极指南：3分钟让iPhone照片在Windows完美预览

Windows HEIC缩略图终极指南&#xff1a;3分钟让iPhone照片在Windows完美预览 【免费下载链接】windows-heic-thumbnails Enable Windows Explorer to display thumbnails for HEIC files 项目地址: https://gitcode.com/gh_mirrors/wi/windows-heic-thumbnails 你是不是…...

编程新知 2026/3/27 10:41:48