网关整合sentinel无法读取nacos配置问题分析

最近公司需要上线一个集约项目，虽然为内网项目，但曾经有过内网被攻破，导致内部系统被攻击的案例，且集约系统同时在线人数较多，所以需要对系统整体进行流控。市面上的流控方案有很多，不过新系统已经集成了sprin-cloud-alibaba-nacos，所以技术选型就选择了阿里的流控系统sentinel。

1.spring-cloud-gateway整合sentinel

1. springcloud项目整合sentinel需要引入sentinel相关组件

    <!-- SpringCloud Alibaba Sentinel --><dependency><groupId>com.alibaba.cloud</groupId><artifactId>spring-cloud-starter-alibaba-sentinel</artifactId></dependency><!-- SpringCloud Alibaba Sentinel Gateway --><dependency><groupId>com.alibaba.cloud</groupId><artifactId>spring-cloud-alibaba-sentinel-gateway</artifactId></dependency>
   

2. 因为我们选择将流控规则持久化到nacos中，所以还需要引入sentinel的nacos数据库插件依赖

        <!-- Sentinel Datasource Nacos --><dependency><groupId>com.alibaba.csp</groupId><artifactId>sentinel-datasource-nacos</artifactId></dependency>
   

3. 配置sentinel控制台地址及nacos相关信息

   spring:cloud:nacos:username: your-namepassword: your-passdiscovery:# 服务注册地址server-addr: your-addrnamespace: your-namespaceconfig:# 配置中心地址server-addr: your-addrnamespace: your-namespace# 配置文件格式file-extension: ymlsentinel:# 取消控制台懒加载eager: truetransport:# 控制台地址dashboard: your-dashboard-addr# nacos配置持久化datasource:ds1:nacos:server-addr: ${spring.cloud.nacos.discovery.server-addr}namespace: ${spring.cloud.nacos.discovery.namespace}username: ${spring.cloud.nacos.username}password: ${spring.cloud.nacos.password}# 限流规则的nacos配置名称dataId: sentinel-gatewaygroupId: DEFAULT_GROUPdata-type: json# 规则类型：网关限流# 这是枚举类，其他类型可以在com.alibaba.cloud.sentinel.datasource.RuleType这个枚举类中查看rule-type: gw-flow
   

4. 下载sentinel-dashboard的jar包【传送门】；执行启动命令：

   java -Dserver.port=8088 -Dcsp.sentinel.dashboard.server=localhost:8088 -Dcsp.sentinel.app.type=1 -Dproject.name=sentinel-dashboard -jar sentinel-dashboard-1.8.8.jar
   

   还可以指定用户名及密码,通过-Dsentinel.dashboard.auth.username和-Dsentinel.dashboard.auth.password配置,不配置默认用户名密码都是sentinel。
5. 启动网关及sentinel控制台，查看网关是否已经注册,查看控制台是否已经有服务注册

2.问题现象

• 上面一通操作之后，本地启动了个nacos，gateway和sentinel控制台看了一下，嗯，没问题，提交，发布测试
• 测试环境使用k8s部署，部署完网关及sentinel控制台服务后，访问控制台。网关成功注册到nacos及sentinel控制台，再查看流控规则，居然没有读取到nacos中持久化的流控策略

3.原因猜测

• 问题一出肯定要排查呀，百度了一下有没有人遇到相似的问题，百度的结果很多，但是都不符合我的情况。
• 猜测问题应该出现在环境问题上。测试环境jdk和本地版本相同，nacos版本相同，sentinel-dashboard版本相同。可能问题出现在配置上。
• 还记得我们上面怎么配置sentinel datasource的吗

  	  datasource:ds1:nacos:server-addr: ${spring.cloud.nacos.discovery.server-addr}namespace: ${spring.cloud.nacos.discovery.namespace}username: ${spring.cloud.nacos.username}password: ${spring.cloud.nacos.password}# 限流规则的nacos配置名称dataId: sentinel-gatewaygroupId: DEFAULT_GROUPdata-type: json# 规则类型：网关限流# 这是枚举类，其他类型可以在com.alibaba.cloud.sentinel.datasource.RuleType这个枚举类中查看rule-type: gw-flow
  

  因为我们是部署在k8s中，nacos的访问地址密码等都配置在环境变量中，相当于bootstrap.yml的配置的配置其实一直是本地的配置,而 ${spring.cloud.nacos.discovery.server-addr}这种配置方式是直接读取bootstrap.yml中的nacos地址，其他的属性也是如此，相当于读取的全部都是本地环境的nacos配置，导致sentinel读取配置文件失败。
• 解决方法：springboot支持直接读取系统环境变量，配置方法也是${系统变量名},并开启了sentinel日志配置，配置如下：

      sentinel:# 取消控制台懒加载eager: truetransport:# 控制台地址dashboard: 127.0.0.1:8088# nacos配置持久化ds1:datasource:nacos:server-addr: ${NacosServerAddr}namespace: ${ConfigNamespace}username: ${username}password: ${password}dataId: sentinel-iwos-gatewaygroupId: DEFAULT_GROUPdata-type: jsonrule-type: gw-flowlog:dir: /usr/local/logs/iwos-gateway
  

  再次发布版本启动网关，查看sentinel控制台发现已经能够从nacos中读取持久化流控策略。问题到这里已经解决了，如果你和我一样好奇sentinel是如何从nacos配置文件中读取配置文件的话，那就继续往下看吧

4.源码分析

1. sentinel控制台是从哪里获取的配置文件

   • sentinel控制台有访问页面，既然有页面那么可以从页面查看获取数据入口
     

   • sentinel控制台是调用了http://127.0.0.1:8088/gateway/flow/list.json?app=mygateway&ip=127.0.0.1&port=8720获取了配置的流控规则。到git上把sentinel源码拉下来，我们来看看这个接口：

   @GetMapping("/list.json")
   @AuthAction(AuthService.PrivilegeType.READ_RULE)
   public Result<List<GatewayFlowRuleEntity>> queryFlowRules(String app, String ip, Integer port) {// 上面是一些参数校验,不重要,可以不看try {// 这里是获取配置的核心代码// 简单就是网关将自己注册到sentinel时,携带自身的ip和端口(这里可以在启动项配置固定值,如果不配置就是默认本地的ip和网关sentinel端口)// sentinel控制台访问网关集成的sentinel开放的端口,查询持久化在配置中心的配置文件List<GatewayFlowRuleEntity> rules = sentinelApiClient.fetchGatewayFlowRules(app, ip, port).get();repository.saveAll(rules);return Result.ofSuccess(rules);} catch (Throwable throwable) {logger.error("query gateway flow rules error:", throwable);return Result.ofThrowable(-1, throwable);}
   }
   

   所以其实配置文件不是dashboard控制台去读取的，而是从网关的sentinel开放的restapi中拉取。

       public CompletableFuture<List<GatewayFlowRuleEntity>> fetchGatewayFlowRules(String app, String ip, int port) {if (StringUtil.isBlank(ip) || port <= 0) {return AsyncUtils.newFailedFuture(new IllegalArgumentException("Invalid parameter"));}try {// FETCH_GATEWAY_FLOW_RULE_PATH: gateway/getRules// 这里就是通过rest请求获取配置文件return executeCommand(ip, port, FETCH_GATEWAY_FLOW_RULE_PATH, false).thenApply(r -> {List<GatewayFlowRule> gatewayFlowRules = JSON.parseArray(r, GatewayFlowRule.class);List<GatewayFlowRuleEntity> entities = gatewayFlowRules.stream().map(rule -> GatewayFlowRuleEntity.fromGatewayFlowRule(app, ip, port, rule)).collect(Collectors.toList());return entities;});} catch (Exception ex) {logger.warn("Error when fetching gateway flow rules", ex);return AsyncUtils.newFailedFuture(ex);}}
   

   控制台是请求网关gateway/getRules这个路径来获取配置文件的,完整的url为: http://ip:port/gateway/getRules。
   来看看网关sentinel这个api是怎么工作的。

   @CommandMapping(
   name = "gateway/getRules",
   desc = "Fetch all gateway rules"
   )
   public class GetGatewayRuleCommandHandler implements CommandHandler<String> {public GetGatewayRuleCommandHandler() {}// 获取配置文件public CommandResponse<String> handle(CommandRequest request) {// 有效代码就是GatewayRuleManager.getRules()return CommandResponse.ofSuccess(JSON.toJSONString(GatewayRuleManager.getRules()));}
   }
   

   看一下GatewayRuleManager.getRules()

   public static Set<GatewayFlowRule> getRules() {Set<GatewayFlowRule> rules = new HashSet();// 这里是读的内存中的一个map,往下看这个map是GatewayRulePropertyListener在监听器中进行加载和更新的Iterator var1 = GATEWAY_RULE_MAP.values().iterator();while(var1.hasNext()) {Set<GatewayFlowRule> ruleSet = (Set)var1.next();rules.addAll(ruleSet);}return rules;
   }
   

   GatewayRulePropertyListener中的逻辑简单看下

   private static final class GatewayRulePropertyListener implements PropertyListener<Set<GatewayFlowRule>> {private GatewayRulePropertyListener() {}public void configUpdate(Set<GatewayFlowRule> conf) {this.applyGatewayRuleInternal(conf);RecordLog.info("[GatewayRuleManager] Gateway flow rules received: {}", new Object[]{GatewayRuleManager.GATEWAY_RULE_MAP});}public void configLoad(Set<GatewayFlowRule> conf) {this.applyGatewayRuleInternal(conf);RecordLog.info("[GatewayRuleManager] Gateway flow rules loaded: {}", new Object[]{GatewayRuleManager.GATEWAY_RULE_MAP});}
   }
   

   这里是通过监听器调用configLoad方法来初始化加载配置规则，但是哪里创建监听器，创建的什么监听器，从这里已经无法再看出来了。线索中断了。。。。。要放弃吗？不！小小监听器，拿下。既然这个方向已经查不到什么信息了，那么我们换一个思路，来看看网关这边是在哪里读取nacos配置信息，然后顺藤摸瓜应该就能找出到底是哪里读取的文件。

2. sentinel是如何读取你的配置文件
   想要知道哪个类读取的你的配置文件，这里，使用IDEA的朋友们可以按住control，同时单击配置项，就能快速定位到引用配置文件。
   下面是我们定位到的地方：

   @ConfigurationProperties(// 读取spring.cloud.sentinel下的所有属性配置prefix = "spring.cloud.sentinel"
   )
   public class SentinelProperties {// 省略其他代码...private Map<String, DataSourcePropertiesConfiguration> datasource;// 省略其他代码// 我们的配置文件就是映射到Map<String, DataSourcePropertiesConfiguration>中// map整体结构就是{"ds1:":{"nacos":{....[配置的nacos属性]}}}public void setDatasource(Map<String, DataSourcePropertiesConfiguration> datasource) {this.datasource = datasource;}
   }
   

   如果不是用IDEA开发的要怎么看呢，其实也有个通用的方法，
   去看resources中META-INFO目录下spring自动装配的类。sentinel入口jar包是spring-cloud-starter-alibaba-sentinel-2021.0.6.0.jar。META-INFO下有一个spring.factories文件，spring会在启动的时候加载这个文件中的工厂类。看看这个文件里有哪些：

   org.springframework.boot.autoconfigure.EnableAutoConfiguration=\
   com.alibaba.cloud.sentinel.SentinelWebAutoConfiguration,\
   com.alibaba.cloud.sentinel.SentinelWebFluxAutoConfiguration,\
   com.alibaba.cloud.sentinel.endpoint.SentinelEndpointAutoConfiguration,\
   com.alibaba.cloud.sentinel.custom.SentinelAutoConfiguration,\
   com.alibaba.cloud.sentinel.feign.SentinelFeignAutoConfiguration
   

   加载用户配置的是SentinelAutoConfiguration类。

   @Configuration(proxyBeanMethods = false)
   @ConditionalOnProperty(name = "spring.cloud.sentinel.enabled", matchIfMissing = true)
   @EnableConfigurationProperties(SentinelProperties.class)
   public class SentinelAutoConfiguration {@Value("${project.name:${spring.application.name:}}")private String projectName;@Autowiredprivate SentinelProperties properties;// 其他代码省略....
   }
   

   可以看到这里在创建bean的时候注入了SentinelProperties，也就是刚才我们通过IDEA定位到的配置类。

   两种方法都了解之后我们继续看SentinelProperties中的DataSourcePropertiesConfiguration。

   public class DataSourcePropertiesConfiguration {// 省略其他数据源的代码配置...// 刚才的setDatasource就是拿到map中的value找到对应的属性类,也就是{"nacos":{...[配置的nacos属性]}}// 从这里可以看出datasource的key是无所谓写什么值得,也就是配置类中的ds1.nacos可以替换成任意key.nacos// 测试了一下改成datasource.nacos也完全没有问题private NacosDataSourceProperties nacos;
   }
   

   nacos配置类

   public class NacosDataSourceProperties extends AbstractDataSourceProperties {// 这些都是sentinel可以配置的nacos配置项private String serverAddr;private String contextPath;private String username;private String password;@NotEmptyprivate String groupId = "DEFAULT_GROUP";@NotEmptyprivate String dataId;private String endpoint;private String namespace;private String accessKey;private String secretKey;public NacosDataSourceProperties() {super(NacosDataSourceFactoryBean.class.getName());}// 预先检查,如果地址为空就设置一个默认的nacos地址@Overridepublic void preCheck(String dataSourceName) {if (StringUtils.isEmpty(serverAddr)) {serverAddr = this.getEnv().getProperty("spring.cloud.sentinel.datasource.nacos.server-addr","127.0.0.1:8848");}}
   }
   

   nacos配置类就是我们常规的配置，还记得sentinel是在哪个key下找到nacos的配置吗，可以回去看看sentinelProperties。它从spring.cloud.sentinel下读取一个map作为数据源。这个map的结构是Map<String, DataSourcePropertiesConfiguration> datasource。也就是spring会把spring.cloud.sentinel.任意key下的配置全部映射到DataSourcePropertiesConfiguration中。如果你配置的是nacos数据源，那么就需要将nacos配置在spring.cloud.sentinel.任意key.nacos下，spring会将属性值自动映射到名为nacos的成员变量上，这个成员变量的类就是NacosDataSourceProperties。

4. 结语

好了，到这里sentinel已经全部拿到nacos的配置信息了，后面就是调用nacos rpc接口进行认证及获取配置文件。如果觉得有用就点个赞吧