【CDP】更改solr 存储路径导致ranger-audit 大量报错问题解决
前言
我们生产上公司是使用的CDP集群，一次管理员通知，Solr 组件的数据存放路径磁盘空间不够。
我们的solr 组件时为 Ranger 服务提供日志审计功能，
在我们更改了磁盘路径，并重启了Solr 组件，然后发现相关组件，如 HDFS, Kafka 等会报相关的报错。具体如下：
报错
在重启 Solr 后，有大量的404报错，无法找到 ranger_audit 这个索引。
由于换了新的存储路径，那么索引肯定时找不到了，于是我们决定重启相关受影响的组件，这样的话，可能索引就会新建。
也正是这一步，让我们一错再错。
重启
在重启相关受影响组件后，发现 404 的报错是没了，变成了 403 的报错。
并且新的路径下，solr 的shard 数据也没有生成。
报错如下图：
到这里，才反应过来，这个问题和其余的组件的关系不太，主要根源是，更改了新的路径后，solr 集群之间，solr 与 zk 之间的联系出了问题。
解决方案
1. 停止solr 组件
集群 -> CDP INFRA SOLR -> 操作 -> 停止。
2. 更换新的路径
这部之前已经操作过了，所以跳过。
3. zookeeper znode 清理
由于我们的zk 有jaas 认证，所以需要先导入环境变量
export JVMFLAGS="-Djava.secury.auth.login.conf=jaas.conf"
进入zookeeper
zookeeper-client -server `hostname -f`
删除节点
rmr /solr-infra/collections/ranger_audits
rmr /solr-infra/configs/ranger_audits
4. 优化审计索引存储时间，副本数（可跳过）
这一步骤不是必须操作，只是对 ranger_audit 该索引进行一些优化。如 TTL，副本数，shard个数 等等。这个因人而异，配置符合自己集群性能才是关键。
修改最大shard 个数。
shard 个数
副本数
5. 启动Solr
集群 -> CDP INFRA SOLR -> 操作 -> 启动。
6. 重启ranger
集群 -> Ranger -> 实例 -> ranger admin -> 重启。
到此，问题应该是可以解决了，如果相关受影响组件仍在报错。继续执行第七步。
7. 进入solr web ui 修改索引
- 跳转
KNOX WEB UI
集群 -> KNOX -> KNOX GATEWAY HOME -> Solr
- 删除collection
进入 solr web ui -> Collections > Delete collection -> 输入要删除的collection 名字
此处输入 ranger_audit,然后点击 Delete 按钮。
- 新增collection
Add Collection -> 内容如下：
| key | value |
|---|---|
| name | ranger_audit |
| config set | ranger_audit |
| numsShards | 4 |
| replicationFact | 1 |
| maxShardsPer | 10 |
此时观察日志，发现已经恢复。问题解决。
相关文章：
【CDP】更改solr 存储路径导致ranger-audit 大量报错问题解决
前言 我们生产上公司是使用的CDP集群，一次管理员通知，Solr 组件的数据存放路径磁盘空间不够。 我们的solr 组件时为 Ranger 服务提供日志审计功能， 在我们更改了磁盘路径，并重启了Solr 组件，然后发现相关组件&#…...
JavaScript基础一、简介
零、文章目录 文章地址 个人博客-CSDN地址：https://blog.csdn.net/liyou123456789个人博客-GiteePages：https://bluecusliyou.gitee.io/techlearn 代码仓库地址 Gitee：https://gitee.com/bluecusliyou/TechLearnGithub：https:…...
Qt音视频开发20-vlc内核动态保存录像文件（不需要重新编译源码）
一、前言 在vlc默认提供的保存文件方式中，通过打开的时候传入指定的参数来保存文件，直到关闭播放生成文件，这种方式简单暴力，但是不适用大部分的场景，大部分时候需要的是提供开始录制和停止录制的功能，也就…...
【深度学习】BERT变体—RoBERTa
RoBERTa是的BERT的常用变体，出自Facebook的RoBERTa: A Robustly Optimized BERT Pretraining Approach。来自Facebook的作者根据BERT训练不足的缺点提出了更有效的预训练方法，并发布了具有更强鲁棒性的BERT：RoBERTa。 RoBERTa通过以下四个方面…...
java面试准备1
JVM、JRE和JDK的关系 JVM:Java Virtual Machine是java虚拟机，Java程序需要运行在虚拟机上，不同的平台有自己的虚拟机，因此java可以实现跨平台使用。 JRE：Java Runtion Envirement包括Java虚拟机和Java程序所需要的核心类库等。 J…...
buffer它到底做了个啥，源码级分析linux内核的文件系统的缓冲区
最近一直在学习linux内核源码，总结一下 https://github.com/xiaozhang8tuo/linux-kernel-0.11 自己整理过的带注释的源码。 为什么要有buffer 高速缓冲区是文件系统访问块设备中数据的必经要道(PS:如果所有程序结果都不落盘，只是int a, a直接在主存…...
【蓝桥杯刷题】盗版Huybery系列之手抓饼赛马
【蓝桥杯刷题】—— 盗版Huybery系列之手抓饼赛马😎😎😎 目录 💡前言🌞： 💛盗版Huybery系列之手抓饼赛马题目💛 💪 解题思路的分享💪 😊题…...
【微信小程序-原生开发】实用教程16 - 查看详情（含页面跳转的传参方法--简单传参 vs 复杂传参）
需在实现列表的基础上开发 【微信小程序-原生开发】实用教程15 - 列表的排序、搜索（含云数据库常用查询条件的使用方法，t-search 组件的使用）_朝阳39的博客-CSDN博客 https://sunshinehu.blog.csdn.net/article/details/129356909 效果预览 …...
论文精读：Ansor: Generating High-Performance Tensor Programs for Deep Learning
文章目录1. Abstract2. Introduction3. Background4. Design Overview5. Program Sampling5.1 Sketch Generation5.2 Random Annotation6. Performance Fine-tuning6.1 Evolutionary Search6.2 Learned Cost Model7. Task Scheduler7.1 Problem Formulation7.2 Optimizing with…...
SpringBoot With IoC,DI, AOP,自动配置
文章目录1 IoC（Inverse Of Controller）2 DI（Dependency Injection）3 AOP（面向切面编程）3.1 什么是AOP？3.2 AOP的作用？3.3 AOP的核心概念3.4 AOP常见通知类型3.5 切入点表达式4 自动配…...
ggplot2的组图拓展包（1）：patchwork（上篇）
专注系列化、高质量的R语言教程推文索引 | 联系小编 | 付费合集patchwork是ggplot绘图系统的拓展包，主要功能是将多个ggplot格式的图形组合成一幅大图，即组图。patchwork工具包十分好用，它主要利用几个类似四则运算符号的操作符进行组图&…...
Python 异步: 异步迭代器（15）
动动发财的小手，点个赞吧！ 迭代是 Python 中的基本操作。我们可以迭代列表、字符串和所有其他结构。 Asyncio 允许我们开发异步迭代器。我们可以通过定义一个实现 aiter() 和 anext() 方法的对象来在 asyncio 程序中创建和使用异步迭代器。 1. 什么是异步…...
HD-G2L-IOT V2.0核心板MPU压力测试
1. 测试对象HD-G2L-IOT基于HD-G2L-CORE V2.0工业级核心板设计，双路千兆网口、双路CAN-bus、2路RS-232、2路RS-485、DSI、LCD、4G/5G、WiFi、CSI摄像头接口等，接口丰富，适用于工业现场应用需求，亦方便用户评估核心板及CPU的性能。H…...
scikit-image：遥感图像geotiff格式转mat格式
scikit-imagescikit-image 是一个专门用于图像处理的 Python 库，它可以与 Scipy 库和其他可能有助于计算的 Python 库一起使用。Github地址：https://github.com/scikit-image/scikit-image Star有5.3k首先pip安装scikit-image包，或者直接使用…...
吉利银河L7、长城哈弗B07、比亚迪宋Plus DM-i，自主品牌决战混动
2月23日，吉利推出全新的中高端新能源产品序列——吉利银河。当日，吉利推出了首款智能电混SUV「银河L7」，新车将在二季度交付。本月10日，长城汽车也计划举办智能新能源干货大会，其「颠覆技术」等宣传直面新一代的新能源…...
附录3：说一说 Ambari 视图编译相关
一、Ambari View Ambari 视图，即 Ambari Views 。其实 Ambari 视图并不是很好用，所以大部分人很自然地就把 Ambari 视图给忽略了，心里会冒出一句：“还有这东西？”。然而作为 Ambari 的一部分，今天还是要讲一下，万一有人追求 Ambari 完整性，要编译并安装汉化他们呢？ …...
Arduino双色LED实验记录
接线图片：双色LED实物和布线有区别：代码：int RED_LED 11; //设置红色为11 int GREEN_LED 10; //设置绿色为10 int val 0;//全局变量val void setup() {// put your setup code here, to run once:pinMode(RED_LED,OUTPUT);//引脚配置pinMo…...
flex布局
十分简单灵活，区区几行代码都可以实现各种页面的布局，曾经学习页面布局时候，深受float、display、position这些属性的困扰，但是学习flex布局，只需要学习几个CSS属性，就可以写出简介优雅复杂的页面布局。 F…...
【操作系统原理实验】命令解释器模拟实现
选择一种高级语言如C/C等，编写一类似于DOS、UNIX中的命令行解释程序。 1)设计系统命名行提示符； 2)自定义命令集（8-10个）； 3)用户输入help命令以查找命令的帮助； 4)列出命令的功能，区分内部命令…...
使用nvm管理node版本
下载nvm版本参考文章：https://blog.csdn.net/langmanboy/article/details/126357952下载安装选择nvm的目录为d:\nvm，nodejs的目录为d:\nodejs：v14.0.0：执行nvm install 14生成的目录v16.0.0：执行nvm install 16生成的目…...
嵌入式处理器IP选型指南：从ARM到RISC-V的权衡与实战
1. 从一场早餐会聊起：为什么32位处理器IP依然是嵌入式开发的硬通货最近在整理资料时，翻到一篇十多年前的老新闻，说的是IP供应商CAST要在DesignCon 2012上办一场免费的早餐研讨会，主题是他们新推出的BA22 32位处理器IP核。新闻里笔…...
PHP WebSocket隧道实现SOCKS5代理：在受限主机环境下的网络出口方案
1. 项目概述：一个在特定托管环境下的轻量级SOCKS5代理方案最近在折腾一些需要稳定网络环境的小项目，尤其是在一些资源受限的海外托管平台上，直接访问某些服务或进行数据抓取时，经常会遇到IP限制或连接不稳定的问题。这时候&#x…...
双系统‘分手’指南：在UEFI模式下彻底卸载Ubuntu并回收磁盘空间（附EasyUEFI使用详解）
双系统卸载全攻略：安全移除Ubuntu并回收磁盘空间的终极指南 你是否曾经为了体验Linux而在Windows电脑上安装了Ubuntu双系统，现在却想回归单一操作系统？面对复杂的UEFI引导和磁盘分区，很多人担心操作不当会导致系统崩溃或数据丢失。…...
终极KMS激活指南：如何一键永久激活Windows和Office
终极KMS激活指南：如何一键永久激活Windows和Office 【免费下载链接】KMS_VL_ALL_AIO Smart Activation Script 项目地址: https://gitcode.com/gh_mirrors/km/KMS_VL_ALL_AIO 还在为Windows系统弹出激活警告而烦恼吗？或者Office软件突然变成只读模…...
IMU数据处理（卡尔曼滤波+四元数计算欧拉角一条龙服务）
先给你最终标准答案（直接照做就行） 结论 必须：寄存器读出来的原始16位 raw 数据 → 先卡尔曼/均值滤波 → 再换算单位转成 g、rad/s 为什么不能先转单位再滤波？ 寄存器原始值是整数整型，噪声是均匀高斯噪声，…...
文件分片上传接口（Easyswoole）被nginx拦截，并返回状态码400和408的抓包排查过程
场景：前端上传的视频文件过大，做了一个分片上传的接口， 调试接口的时候，后端EasySwoole程序接收不到请求，前端发现接口返回状态码408遇到的问题：一个文件分三片上传，第一次请求接口正常…...
【Mem0】 源码剖析（一）：Agent 的记忆危机与 Mem0 的三阶段管道——为什么 RAG 不够用？
【Mem0】 源码剖析（一）：Agent 的记忆危机与 Mem0 的三阶段管道——为什么 RAG 不够用？ 写在前面：54K Star，论文被 arXiv 收录，LOCOMO 基准 SOTA——Mem0 是当前 Agent 记忆层的事实标准。它的核…...
七、数据与存储
一、 数据库操作 1、QSqlDatabase 连接管理深度剖析 连接生命周期与内部机制 QSqlDatabase 的连接管理不走寻常路——它内部是一个全局静态哈希表，存储着所有命名连接。这带来了几个重要的设计约束： // QSqlDatabase 内部实现的核心数据结构（简化还原）// Qt 源码中通过 QH…...
MediaCreationTool.bat：革命性的Windows自动化部署解决方案
MediaCreationTool.bat：革命性的Windows自动化部署解决方案 【免费下载链接】MediaCreationTool.bat Universal MCT wrapper script for all Windows 10/11 versions from 1507 to 21H2! 项目地址: https://gitcode.com/gh_mirrors/me/MediaCreationTool.bat …...
HoRain云--PHP安全插入MySQL数据指南
🎬 HoRain 云小助手：个人主页 ⛺️生活的理想，就是为了理想的生活! ⛳️ 推荐 前些天发现了一个超棒的服务器购买网站，性价比超高，大内存超划算！忍不住分享一下给大家。点击跳转到网站。 目录 ⛳️ 推荐 …...