Sentinel结合Nacos实现配置持久化(全面)
1、前言
我们在进行分布式系统的开发中,无论是在开发环境还是发布环境,配置一定不能是内存形式的,因为系统可能会在中途宕机或者重启,所以如果放在内存中,那么配置在服务停到就是就会消失,那么此时就需要重新再进行配置,一个两个服务还好,如果服务一多,那就是一件很费时费力的事情了。
所以我们还是需要把我们的配置信息持久化到配置中心,这也是目前主流的方式。
分布式系统中常见的配置中心有Nacos、ZooKeeper、Apollo、Consul等等,
本文中使用Nacos作为配置中心和服务中心。
配置持久化主要有以下原因:
- 数据安全性:持久化配置可以保证在系统或者应用重启后,重要的配置数据不会丢失,可以确保数据的安全性和稳定性。
- 数据可恢复性:持久化配置可以在数据丢失或者损坏时进行恢复,保证系统的正常运行。
- 支持分布式系统:对于分布式系统来说,配置的持久化可以确保各个节点的一致性,避免因为节点的临时变动导致的问题。
- 可扩展性:持久化配置易于进行扩展和修改,可以适应不同的应用场景和业务需求。
- 提高系统性能:通过实现配置的持久化,可以有效减少读取配置文件的次数,提高系统的运行效率。
- 降低耦合性:持久化配置可以使得应用和配置之间松散耦合,方便系统的维护和升级。
2、微服务整合Sentinel和Nacos
在分布式的系统中,微服务是最基本的要求,所以我们就需要对微服务进行服务注册发现、配置和流控。
2.1、引入依赖
在微服务整合sentinel和Nacos是需要父pom中已经引入了spring-cloud-alibaba-dependencies
这个依赖,这个依赖中管理里当前版本中所有组件的版本信息。切记:在微服务中要特别注意各种依赖的版本。
<!--nacos服务注册与发现-->
<dependency><groupId>com.alibaba.cloud</groupId><artifactId>spring-cloud-starter-alibaba-nacos-discovery</artifactId>
</dependency><!--nacos配置中心-->
<dependency><groupId>com.alibaba.cloud</groupId><artifactId>spring-cloud-starter-alibaba-nacos-config</artifactId>
</dependency><!--sentinel依赖-->
<dependency><groupId>com.alibaba.cloud</groupId><artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
</dependency><!--以nacos作为sentinel数据源的依赖-->
<dependency><groupId>com.alibaba.csp</groupId><artifactId>sentinel-datasource-nacos</artifactId>
</dependency>
2.2、application.yaml文件的编写
spring:application:name: ${application_name}main:banner-mode: offlazy-initialization: truecloud:nacos: # 配置nacos信息discovery:server-addr: ${nacos_server}config:server-addr: ${nacos_server}file-extension: yaml
因为我们用nacos作为了配置中心,我们可以将sentinel的基本配置放入到nacos中就可以了,所以当前服务的yaml配置文件中只需要写一些基本的配置就可以了。
2.3、在Nacos中配置sentinel信息
spring:cloud:sentinel:transport:dashboard: localhost:8080 ##sentinel的控制面板地址datasource: # sentinel用nacos作为数据源的配置flux-control: # 流控管理(这个名称可以自定义)nacos: # 告诉sentinel用nacos作为数据源data-id: feign-test_flux-control_config.json # 配置中心里执行文件的dataIdserver-addr: ${nacos_server} # nacos的地址rule-type: flow # 指定文件配置的是那种规则degrade-control: # 熔断管理(这个名称可以自定义)nacos:data-id: feign-test_degrade-control_config.jsonserver-addr: ${nacos_server}rule-type: degradeparam-flow-control: # 热点参数管理(这个名称可以自定义)nacos:data-id: feign_test-hot_flux-config.jsonserver-addr: ${nacos_server}rule-type: param-flow
我们使用nacos配置文件来对服务进行流控、熔断等操作,所以就需要有以下几个必须的参数:
- data-id:需要告诉sentinel读取配置中心中的哪个配置文件。
- rule-type:告诉sentinel配置文件配置的控制规则,flow:流控、degrade:熔断、param-flow热点参数,想看有哪些规则参数可以查看
com.alibaba.cloud.sentinel.datasource
包下的枚举类:RuleType
。
public enum RuleType {FLOW("flow", FlowRule.class),DEGRADE("degrade", DegradeRule.class),PARAM_FLOW("param-flow", ParamFlowRule.class),SYSTEM("system", SystemRule.class),AUTHORITY("authority", AuthorityRule.class),GW_FLOW("gw-flow", "com.alibaba.csp.sentinel.adapter.gateway.common.rule.GatewayFlowRule"),GW_API_GROUP("gw-api-group", "com.alibaba.csp.sentinel.adapter.gateway.common.api.ApiDefinition");//省略部分代码
}
2.4、配置信息
我们这里使用的是配置文件的形式对sentinel的控制信息进行持久化,所以会存在一个问题:nacos中的配置文件对于sentinel来讲是单项数据读入,sentinel能监听到nacos中配置的变化,但是我们在sentinel中修改了配置,nacos是不会监听到并进行修改。
如果想进行双向绑定,就需要对sentinel的代码进行修改。
2.4.1、流控配置
流控指的是流量控制
,也称作限流。它主要是用来限制每单位时间进入系统的请求数量,主要用来保证系统的可用性,防止大流量把系统压死。
[{"resource": "/test", // 资源名"limitApp": "default", // // 针对来源,若为 default 则不区分调用来源"grade": 1, // 限流阈值类型(1:QPS; 0:并发线程数)"count": 1, // 阈值"clusterMode": false, // 是否是集群模式"controlBehavior": 0, // 流控效果 (0:快速失败; 1:Warm Up(预热模式); 2:排队等待)"strategy": 0, // 流控模式(0:直接; 1:关联; 2:链路)"warmUpPeriodSec": 10, // 预热时间(秒,预热模式需要此参数)"maxQueueingTimeMs": 500, // 超时时间(排队等待模式需要此参数)"refResource": "rrr" // 关联资源、入口资源(关联、链路模式)}
]
2.4.2、熔断降级配置
在微服务中,熔断降级是一种保障服务稳定性的策略。
熔断降级可以简单理解为一个“保险丝”的作用。当某个服务发生严重故障(例如超时、异常等),为了防止整个系统的崩溃,会切断对这个服务的调用。这就像电流过大,保险丝会熔断以保护电路。
具体来说,熔断降级有两个目的:
防止应用程序不断地尝试执行可能会失败的操作给系统造成“雪崩”。
当某个服务提供者发生故障的时候,向调用方返回一个错误响应或者替代响应,而不是让调用方等待超时。
这样,即使个别服务出现问题,整个系统的运行也不会受到影响,这就是熔断降级的作用。
[{"resource": "/degrade","grade": 0, // 熔断策略,支持慢调用比例(0),异常比例(1),异常数(2)策略"count": 1000, // 慢调用比例模式下为慢调用临界 RT(超出该值计为慢调用,单位ms);异常比例/异常数模式下为对应的阈值"slowRatioThreshold": 0.1,// 慢调用比例阈值,仅慢调用比例模式有效(1.8.0 引入)"minRequestAmount": 10, //熔断触发的最小请求数,请求数小于该值时即使异常比率超出阈值也不会熔断"timeWindow": 10, // 熔断时长,单位为 s"statIntervalMs": 1000 // 统计时长(单位为 ms),如 60*1000 代表分钟级}
]
2.4.3、热点参数配置
在微服务中,热点参数限流是一种特殊的限流方法。
热点参数限流主要是对参数值相同的请求进行分别统计,判断是否超过每秒事务处理量(QPS)的阈值。这种方法相较于传统的限流方式,更精细化和个性化,可以针对具体的应用和服务的瓶颈进行限流。
例如,在一个微服务系统中,“查询用户信息”这个服务可能存在一个热点参数“用户ID”,我们可以通过热点参数限流来控制单位时间内对同一个用户ID的查询请求数量,防止因为某个热点的参数导致整体服务的故障。
[{"resource": "/test1","grade": 1, // 限流模式(QPS 模式,不可更改)"paramIdx": 0, // 参数索引"count": 13, // 单机阈值"durationInSec": 6, // 统计窗口时长"clusterMode": false, // 是否集群 默认false"controlBehavior": 0, // 流控效果(支持快速失败和匀速排队模式)"limitApp": "default",// 高级选项"paramFlowItemList": [{"classType": "int", // 参数类型"count": 222, // 限流阈值"object": "2" // 参数值}]}
]
2.4.4、系统规则配置
系统规则是用于定义和配置分布式系统的流量控制和防护的一种策略。
可以根据不同的维度(如Load、CPU使用率、总体平均RT、入口QPS和并发线程数等)来设定系统保护规则,以保证系统的入口流量和系统的负载达到一个平衡,让系统尽可能跑在最大吞吐量的同时保证系统整体的稳定性。
[{"avgRt": 1, // RT"highestCpuUsage": -1, // CPU 使用率"highestSystemLoad": -1, // LOAD"maxThread": -1, // 线程数"qps": -1, // 入口 QPS"count": 55, // 阈值,在CPU使用率中是百分比}
]
2.4.5、授权规则配置
授权规则是用于控制服务请求者访问受保护资源的一种权限判断。它可以基于请求的来源或其他因素,对请求进行授权或者拒绝。
授权规则有多种实现方式,例如白名单和黑名单。白名单是允许来源在白名单内的调用者访问受保护资源,而黑名单则是禁止来源在黑名单内的调用者访问受保护资源。
在Sentinel中,可以通过自定义RequestOriginParser接口,从请求对象中获取请求者的来源,并按照白名单或黑名单的规则进行授权判断。
[{"resource": "sentinel_spring_web_context","limitApp": "/test","strategy": 0 // 授权类型(0代表白名单;1代表黑名单。)}
]
3、Gateway整合Sentinel和Nacos
在分布式系统中,一般使用Gateway网关来作为系统的入口,整合了网关后,请求会通过Gateway进行转发,就相当于Servlet中的forward,转发过程不会在浏览器中进行记录。
所以当我们为系统添加了Gateway之后,我们就可以不为每一个微服务添加流控效果了,只需要在Gateway中设置流控就可以了。
我们在Gateway中进行流控、熔断等操作,resource指的就是我们的服务名称。
3.1、流控配置
Gateway的流控配置和普通的流控配置不一样。
[{"resource": "feign-test", // 资源名"resourceMode": 0, // API类型, 0: ROUTE ID区分, 1: API"count": 1, // 阈值,QPS类型就是限制时间间隔的请求数,线程数类型就是指并行的线程数"grade": 1, // 阈值类型,0:线程数,1:QPS"controlBehavior": 2, // 流控方式,0:快速失败,2:匀速排队"intervalSec": 10, // 间隔,单位是秒"burst": 0, // burst,只有在快速失败时才有效"maxQueueingTimeoutMs": 1000 // 超时时间,单位是毫秒}
]
3.1.1、网关流控的所有配置参数
参数名 | 参数描述 |
---|---|
resourceMode | API类型,0:ROUTE ID,1:API |
resource | 资源名 |
grade | 阈值类型,0:线程数,1:QPS |
count | 阈值,QPS类型就是限制时间间隔的请求数,线程数类型就是指并行的线程数 |
intervalSec | 间隔 ,单位是秒 |
controlBehavior | 流控方式,0:快速失败,2:匀速排队 |
burst | 额外流量,快速失败流控方式下,允许突出的流量数 |
maxQueueingTimeoutMs | 排队时间,单位是毫秒,匀速排队流控方式下,允许排队的时间 |
paramItem | 请求属性key,json对象,为配置的json key,value就是余下的配置项 |
parseStrategy | 参数属性,0 :ClientIP,1:RemoteHost,2:Header ,3:URL参数,4 Cookie |
fieldName | 参数名称,若参数属性选择 Header 模式或 URL 参数模式,则需要指定对应的 header 名称或 URL 参数名称 |
matchStrategy | 参数值匹配策略,0: 精确匹配,1:子串查询匹配,2:正则表达式匹配 |
pattern | 参数值匹配内容,按匹配策略来配置的值,只有匹配该模式的请求属性值会纳入统计和流控;若为空则统计该请求属性的所有值。 |
3.1.2、注意事项
- 参数值如果是数字,那么字符串和数字都可以。
- 当Gateway使用了流控配置的持久化,那么sentinel中
datasource
配置下的rule-type
参数值就得是gw_flow
, 不能是flow
,但也不是一定不能。
spring:cloud:sentinel:transport:dashboard: http://localhost:8080datasource:flow-control:nacos:server-addr: ${nacos_server}data-id: gateway_flux-control_config.json
# rule-type: flowrule-type: gw_flow
1、如果配置的是
flow
,那么在sentinle中就不会显示处Gateway的流控配置,但是不影响功能。
2、如果配置的是gw_flow
,才会在sentinel中显示Gateway的流控配置,同时也不影响功能。
3.2、熔断降级配置
Gateway的熔断降级配置和之前的配置是一样的。
[{"resource": "feign-test", // 资源名"count": 1000, // 当熔断策略是慢调用时,此值为最大RT,单位是毫秒。当熔断是策略是异常比例时,此值为异常比例。当熔断策略是异常数时,此值为异常数目"timeWindow": 5, // 熔断时长,单位是秒"grade": 0, // 0: 慢调用, 1: 异常比例,2:异常数"minRequestAmount": 2, // 最小请求数"slowRatioThreshold": 0.2, // 比例阈值"statIntervalMs": 10000 // 统计时长,单位毫秒}
]
相关文章:

Sentinel结合Nacos实现配置持久化(全面)
1、前言 我们在进行分布式系统的开发中,无论是在开发环境还是发布环境,配置一定不能是内存形式的,因为系统可能会在中途宕机或者重启,所以如果放在内存中,那么配置在服务停到就是就会消失,那么此时就需要重…...
Verilog中什么是断言?
断言就是在我们的程序中插入一句代码,这句代码只有仿真的时候才会生效,这段代码的作用是帮助我们判断某个条件是否满足(例如某个数据是否超出了范围),如果条件不满足(数据超出了范围)࿰…...

Oracle分区的使用详解:创建、修改和删除分区,处理分区已满或不存在的插入数据,以及分区历史数据与近期数据的操作指南
一、前言 什么是表分区: Oracle的分区是一种将表或索引数据分割为更小、更易管理的部分的技术。它可以提高查询性能、简化维护操作,并提供更好的数据组织和管理。 表分区和表空间的区别和联系: 在Oracle数据库中,表空间(Tablespace)是用于存储表、索引和其他数据库对…...

SLAM从入门到精通(amcl定位使用)
【 声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing 163.com】 学习slam,一般就是所谓的边定位、边制图的知识。然而在实际生产过程中,比如扫地机器人、agv、巡检机器人、农业机器人&…...

【C/C++】C/C++面试八股
C/C面试八股 C和C语言的区别简单介绍一下三大特性多态的实现原理虚函数的构成原理虚函数的调用原理虚表指针在什么地方进行初始化的?构造函数为什么不能是虚函数虚函数和纯虚函数的区别抽象类类对象的对象模型内存对齐是什么?为什么要内存对齐static关键…...

Scala第八章节
Scala第八章节 scala总目录 章节目标 能够使用trait独立完成适配器, 模板方法, 职责链设计模式能够独立叙述trait的构造机制能够了解trait继承class的写法能够独立完成程序员案例 1. 特质入门 1.1 概述 有些时候, 我们会遇到一些特定的需求, 即: 在不影响当前继承体系的情…...
k8s-实战——kubeadm二进制编译
文章目录 源码编译获取源码修改证书有效期修改 CA 有效期为 100 年(默认为 10 年)修改证书有效期为 100 年(默认为 1 年)CentOS7.9环境准备centos脚本安装执行脚本脚本内容手动安装验证编译查看编译后的版本信息参考链接脚本修改源码编译 源码编译kubeadm文件、修改证书的默…...
vite 和 webpack 的区别
1. 构建原理: Webpack 是一个静态模块打包器,通过对项目中的JavaScript、css、Image 等文件进行分析,生成对应的静态资源,并且通过一些插件和加载器来实现各种功能。 Vite 是一种基于浏览器元素 ES 模块解析构建工具,…...

传统遗产与技术相遇,古彝文的数字化与保护
古彝文是中国彝族的传统文字,具有悠久的历史和文化价值。然而,由于古彝文的形状复杂且没有标准化的字符集,对其进行文字识别一直是一项具有挑战性的任务。本文介绍了古彝文合合信息的文字识别技术,旨在提高古彝文的自动识别准确性…...

多维时序 | MATLAB实现WOA-CNN-GRU-Attention多变量时间序列预测(SE注意力机制)
多维时序 | MATLAB实现WOA-CNN-GRU-Attention多变量时间序列预测(SE注意力机制) 目录 多维时序 | MATLAB实现WOA-CNN-GRU-Attention多变量时间序列预测(SE注意力机制)预测效果基本描述模型描述程序设计参考资料 预测效果 基本描述…...
1042 字符统计
description 请编写程序,找出一段给定文字中出现最频繁的那个英文字母。 输入格式: 输入在一行中给出一个长度不超过 1000 的字符串。字符串由 ASCII 码表中任意可见字符及空格组成,至少包含 1 个英文字母,以回车结束ÿ…...

3 OpenCV两张图片实现稀疏点云的生成
前文: 1 基于SIFT图像特征识别的匹配方法比较与实现 2 OpenCV实现的F矩阵RANSAC原理与实践 1 E矩阵 1.1 由F到E E K T ∗ F ∗ K E K^T * F * K EKT∗F∗K E 矩阵可以直接通过之前算好的 F 矩阵与相机内参 K 矩阵获得 Mat E K.t() * F * K;相机内参获得的方式…...
在Springboot项目中使用Redis提供给Lua的脚本
在Springboot项目中使用Redis提供给Lua的脚本 在Spring Boot项目中,你可以使用RedisTemplate来执行Lua脚本。RedisTemplate是Spring Data Redis提供的一个Redis客户端,它可以方便地与Redis进行交互。以下是使用RedisTemplate执行Lua脚本的一般步骤&…...

分类预测 | MATLAB实现NGO-CNN北方苍鹰算法优化卷积神经网络数据分类预测
分类预测 | MATLAB实现NGO-CNN北方苍鹰算法优化卷积神经网络数据分类预测 目录 分类预测 | MATLAB实现NGO-CNN北方苍鹰算法优化卷积神经网络数据分类预测分类效果基本描述程序设计参考资料 分类效果 基本描述 1.Matlab实现NGO-CNN北方苍鹰算法优化卷积神经网络数据分类预测&…...

Linux或Centos查看CPU和内存占用情况_top只能查看对应的命令_如何查看具体进程---linux工作笔记062
一般我们都是用top去查看,但是top查看的结果,不能看出,具体是哪个程序占用的,这就很苦恼.. 其实如果有时间的话,再去专门看一下网络安全和linux脚本以及命令方面的,比较系统的看一下比较好.现在积累的都是工作中用到的,比较零散的知识. 如果用top,比如说这里的java,就只能知道…...
什么是DevOps
文章目录 一、概念二、地位三、目标四、要求五、具体手段 一、概念 是一组过程、方法与系统的统称,有助于打破开发、测试、运维、交付部门之间的壁垒,提高部门间的沟通协助能力。 二、地位 应成为公司的一种理念、文化、哲学。 三、目标 实现更加高…...
力扣每日一题
605. 种花问题 - 力扣(LeetCode) 动态规划 class Solution { public:bool canPlaceFlowers(vector<int>& flowerbed, int n) {int m flowerbed.size();if(1 m)return !flowerbed[0] > n;else if(2 m)return ((!flowerbed[0] &&…...

测试OpenCvSharp库的模板匹配功能
微信公众号“Dotnet讲堂”的文章《c#实现模板匹配,并输出匹配坐标》(参考文献1)中介绍了采用OpenCVSharp库实现模板匹配功能,也即在目标图片中定位指定图片内容的示例,本文参照参考文献1-4,学习并测试OpenC…...

网络编程day04(网络属性函数、广播、组播、TCP并发)
今日任务 对于newfd的话,最好是另存然后传入给分支线程,避免父子线程操作同一个文件描述符 ------------在tcp多线程服务端---------- 如果使用全局变量,或者指针方式间接访问,会导致所有线程共用一份newfd和cin,那么…...

HALCON支持GPU加速的算子有哪些?
参考例程get_operator_info。 get_opencl_operators这里可以查看到所有支持gpu加速的算子。 支持的算子列表: crop_rectangle1,deviation_image,mean_image,points_harris,gray_opening_shape, gray_dilat…...

通过Wrangler CLI在worker中创建数据库和表
官方使用文档:Getting started Cloudflare D1 docs 创建数据库 在命令行中执行完成之后,会在本地和远程创建数据库: npx wranglerlatest d1 create prod-d1-tutorial 在cf中就可以看到数据库: 现在,您的Cloudfla…...
Objective-C常用命名规范总结
【OC】常用命名规范总结 文章目录 【OC】常用命名规范总结1.类名(Class Name)2.协议名(Protocol Name)3.方法名(Method Name)4.属性名(Property Name)5.局部变量/实例变量(Local / Instance Variables&…...
Neo4j 集群管理:原理、技术与最佳实践深度解析
Neo4j 的集群技术是其企业级高可用性、可扩展性和容错能力的核心。通过深入分析官方文档,本文将系统阐述其集群管理的核心原理、关键技术、实用技巧和行业最佳实践。 Neo4j 的 Causal Clustering 架构提供了一个强大而灵活的基石,用于构建高可用、可扩展且一致的图数据库服务…...

《基于Apache Flink的流处理》笔记
思维导图 1-3 章 4-7章 8-11 章 参考资料 源码: https://github.com/streaming-with-flink 博客 https://flink.apache.org/bloghttps://www.ververica.com/blog 聚会及会议 https://flink-forward.orghttps://www.meetup.com/topics/apache-flink https://n…...
OpenLayers 分屏对比(地图联动)
注:当前使用的是 ol 5.3.0 版本,天地图使用的key请到天地图官网申请,并替换为自己的key 地图分屏对比在WebGIS开发中是很常见的功能,和卷帘图层不一样的是,分屏对比是在各个地图中添加相同或者不同的图层进行对比查看。…...

保姆级教程:在无网络无显卡的Windows电脑的vscode本地部署deepseek
文章目录 1 前言2 部署流程2.1 准备工作2.2 Ollama2.2.1 使用有网络的电脑下载Ollama2.2.2 安装Ollama(有网络的电脑)2.2.3 安装Ollama(无网络的电脑)2.2.4 安装验证2.2.5 修改大模型安装位置2.2.6 下载Deepseek模型 2.3 将deepse…...

处理vxe-table 表尾数据是单独一个接口,表格tableData数据更新后,需要点击两下,表尾才是正确的
修改bug思路: 分别把 tabledata 和 表尾相关数据 console.log() 发现 更新数据先后顺序不对 settimeout延迟查询表格接口 ——测试可行 升级↑:async await 等接口返回后再开始下一个接口查询 ________________________________________________________…...
MySQL JOIN 表过多的优化思路
当 MySQL 查询涉及大量表 JOIN 时,性能会显著下降。以下是优化思路和简易实现方法: 一、核心优化思路 减少 JOIN 数量 数据冗余:添加必要的冗余字段(如订单表直接存储用户名)合并表:将频繁关联的小表合并成…...

Golang——9、反射和文件操作
反射和文件操作 1、反射1.1、reflect.TypeOf()获取任意值的类型对象1.2、reflect.ValueOf()1.3、结构体反射 2、文件操作2.1、os.Open()打开文件2.2、方式一:使用Read()读取文件2.3、方式二:bufio读取文件2.4、方式三:os.ReadFile读取2.5、写…...
在鸿蒙HarmonyOS 5中使用DevEco Studio实现指南针功能
指南针功能是许多位置服务应用的基础功能之一。下面我将详细介绍如何在HarmonyOS 5中使用DevEco Studio实现指南针功能。 1. 开发环境准备 确保已安装DevEco Studio 3.1或更高版本确保项目使用的是HarmonyOS 5.0 SDK在项目的module.json5中配置必要的权限 2. 权限配置 在mo…...