ELK安装、部署、调试（一）设计规划及准备
一、整体规划如图：
【filebeat】
需要收集日志的服务器，安装filebeat软件，用于收集日志。logstash也可以收集日志，但是占用的系统资源过大，所以使用了filebeat来收集日志。
【kafka】
接收filebeat的日志，进行队列及缓存，kafka使用集群的方式搭建，避免了filebeat直接向logstash传送的拥塞及日志丢失。
【logstash】
主动抓取kafka的日志信息，对日志进行过滤，分析，处理等操作。
【elasticsearch】
简称es，存储logstash处理过的日志信息，采用集群的方式搭建。
【kibana】
图形化的方式展示es的数据信息。
二、IP地址及服务器规划
filebeat ：10.10.10.56 /usr/local/filebeat
kafka集群：10.10.10.71-73 /usr/local/kafka
zookeeper集群：10.10.10.71-73 /usr/local/zookeeper
logstash：10.10.10.74 /usr/local/logstash
es集群：10.10.10.65-67 /usr/local/elasticsearch
kibana：10.10.10.65 /usr/local/kinan
kibana中文：10.10.10.66 /usr/local/kibana
三、java的安装
所有服务器均需要安装java的环境
centos 7.9默认已安装java 1.8_242所以不需要再次安装java了
下/载java
tar -zxvf java**.gz -C /usr/local
设置java环境变量
vi /etc/profile
末尾加
export JAVA_HOME=/usr/loca/java/jdk1.8.0_201
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
source /etc/profile
java -version 查看版本
默认系统自带java，就不需要重新安装
相关文章：
ELK安装、部署、调试（一）设计规划及准备
一、整体规划如图： 【filebeat】 需要收集日志的服务器，安装filebeat软件，用于收集日志。logstash也可以收集日志，但是占用的系统资源过大，所以使用了filebeat来收集日志。 【kafka】 接收filebeat的日志ÿ…...
【CSS】解决对齐的小问题
问题： 表单或者页面上可能遇到文字无法对平均分，带有冒号的文本无法左右对齐的情况 常见的解决方式： 解决如下图 仍无法解决对齐的问题，还需要考虑字数 解决 这里用css的方式解决 增加 i 标签 固定宽度，设置 i …...
【狂神】Spring5(Aop的实现方式)
今天没有偷懒，只是忘了Mybatis，所以去补课了~ ┏━━━━━━━━━━━━━━━┓ NICE PIGGY PIG.. ┗━━━━━━━△━━━━━━━┛ ヽ(･ω･)ﾉ | / UU 1.Aop实现方式一 1.1、什…...
第2章 Linux多进程开发 2.18 内存映射
内存映射：可以进行进程间的通信 1.如果对mmap的返回值(ptr)做操作(ptr), munmap是否能够成功? void * ptr mmap(…); ptr; 可以对其进行操作 munmap(ptr, len); // 错误,要保存地址 2.如果open时O_RDONLY, mmap时prot参数指定PROT_READ | PROT_WRITE会怎样? 错…...
【C++深入浅出】类和对象上篇(类的基础、类的模型以及this指针)
目录 一. 前言 二. 面向对象与面向过程 2.1 面向过程 2.2 面向对象 三. 类的基础知识 3.1 类的引入 3.2 类的定义 3.3 成员变量的命名规则 3.4 封装 3.5 类的访问限定符 3.6 类的作用域 3.7 类的实例化 四. 类的对象模型 4.1 类对象的大小 4.2 类对象的存储方式 …...
气象站在日常生活中的重要性
气象站在我们的日常生活中起着重要的作用，它监测着天气的变化，能够提供及时、准确的天气信息，对我们的生产和生活都有着极大的影响。 一、气象站的工作原理 气象站通过一系列传感器设备，对风速、风向、温度、湿度、气压、雨量等…...
数据结构学习系列之用队列实现栈功能与用栈实现队列功能
队列与栈：队列（Queue）是一种先进先出（FIFO）的线性表；栈（Stack）是一种后进先出（LIFO）的线性表；实例1：用队列实现栈的功能；算…...
PY32F003F18P单片机概述
PY32F003F18P单片机是普冉的一款ARM微控制器，内核是Cortex-M0。这个单片机的特色，就是价格便宜，FLASH和SRAM远远超过8位单片机，市场竞争力很强大。 一、硬件资源： 1)、FLASH为64K字节； 2)、SRAM为8K字节&…...
查看GPU占用率
如何监控NVIDIA GPU 的运行状态和使用情况_nvidia 85c_LiBiGo的博客-CSDN博客设备跟踪和管理正成为机器学习工程的中心焦点。这个任务的核心是在模型训练过程中跟踪和报告gpu的使用效率。有效的GPU监控可以帮助我们配置一些非常重要的超参数，例如批大小，…...
设计模式-中介者模式
文章目录 一、前言二、中介者模式1、定义2、未使用/使用中介者模式对比2.1、未使用中介者模式：2.2、使用中介者模式： 3、角色分析3.1、中介者（Mediator）：3.2、同事（Colleague）：3.3、…...
react 大杂烩
组件 1.是返回标签的js函数，是可重复利用的UI元素 function test(){ return ( test ); } 2.构建组件： （1）export 导出组件 （2）定义函数，名称必须以大写字母开头 （3）…...
图解 STP
网络环路 现在我们的生活已经离不开网络，如果我家断网，我会抱怨这什么破网络，影响到我刷抖音、打游戏；如果公司断网，那老板估计会骂娘，因为会影响到公司正常运转，直接造成经济损失。网络通信中&…...
Kubernetes技术--k8s核心技术Controller控制器
1.Controller概述 Controller是在集群上管理和运行容器的对象。是一个实际存在的对象。 2.pod和Controller之间的关系 pod通过controller实现应用的运维，包括伸缩、滚动升级等操作。 这里pod和controller通过label标签来建立关系。如下所示: 3.Deployment控制器应用场景 -1:…...
Kubernetes技术--k8s核心技术 Secret
1.概述 Secret 解决了密码、token、密钥等敏感数据的配置问题，而不需要把这些敏感数据暴露到镜像或者 Pod Spec中。Secret可以以 Volume 或者环境变量的方式使用。 作用 加密数据存储在/etc中，使得pod容器以挂载volume方式进行访问。在进行的数据存储中是以base64加密的方式…...
day27 String类 正则表达式
String类的getBytes方法 String s "腻害"; byte[] bytes s.getBytes(StandardCharsets.UTF_8); String类的new String方法 String ss "ss我的"; byte[] gbks ss.getBytes("gbk"); String gbk new String(gbks, "gbk"); String类的…...
Java设计模式：四、行为型模式-10：访问者模式
一、定义：访问者模式 访问者模式：核心在于同一个事物不同视角下的访问信息不同。 在一个稳定的数据结构下，例如用户信息、雇员信息等，增加易变的业务访问逻辑。为了增强扩展性，将两部分的业务解耦的一种设计模式。 二…...
【juc】读写锁ReentrantReadWriteLock
目录 一、说明二、读读不互斥2.1 代码示例2.2 截图示例 三、读写互斥3.1 代码示例3.2 截图示例 四、写写互斥4.1 代码示例4.2 截图示例 五、注意事项5.2.1 代码示例5.2.2 截图示例 一、说明 1.当读操作远远高于写操作时，使用读写锁让读读可以并发，来提高…...
Linux开机启动Tomcat
需求背景 Linux重启后要手动执行"startup.sh"启动Tomcat，比较麻烦，想要Linux开机启动Tomcat。 开机启动 #---------------------------------------------------------- sudo tee /usr/bin/tomcat.sh <<-EOF #! /bin/bash nohup /opt/to…...
javaweb、spring、springmvc和springboot有什么区别，都是做什么用的？
JavaWeb是一种基于Java技术的Web开发模式，用于构建动态的、可交互的Web应用程序。它是一种使用Java语言开发Web应用的技术堆栈，包括Java Servlet、JavaServer Pages（JSP）、JavaServer Faces（JSF）等。JavaWe…...
已解决module ‘pip‘ has no attribute ‘pep425tags‘报错问题（如何正确查看pip版本、支持、32位、64位方法汇总）
本文摘要：本文已解决module ‘pip‘ has no attribute ‘pep425tags‘的相关报错问题，并总结提出了几种可用解决方案。同时结合人工智能GPT排除可能得隐患及错误。并且最后说明了如何正确查看pip版本、支持、32位、64位方法汇总 😎 作者介绍&…...
Matlab（画图初阶）
目录 1.plot()函数 2. hold(添加新绘图是否保留旧绘图) 3. Plot Style 3.1 线型 3.2 标记 3.3 颜色 编辑 4. legend() 5.X 、Y and Title？ 6. Text()和annotation() 7.line(创建基本线条) 7.1 基本语法 7.2 指定线条属性 7.3 更改线条属性 8.图像属性 8.1 …...
汽车自适应巡航系统控制策略研究
目 录 第一章 绪论 .............................................................................................................................. 1 1.1 研究背景及意义 ..........................................................................................…...
C语言面试题值反转字符串
知识捡漏本 1.C语言优先级 ：左高于高于 右 2.定义宏函数product，调用product后，里面的i和i都是加两次1，i就是两个加2后的i相乘，i是开始的i和1后的i相乘。 3.用i (j4,k 8,m 16);这种定义方法，最终i和最后一…...
【大数据】Apache Iceberg 概述和源代码的构建
Apache Iceberg 概述和源代码的构建 1.数据湖的解决方案 - Iceberg1.1 Iceberg 是什么1.2 Iceberg 的 Table Format 介绍1.3 Iceberg 的核心思想1.4 Iceberg 的元数据管理1.5 Iceberg 的重要特性1.5.1 丰富的计算引擎1.5.2 灵活的文件组织形式1.5.3 优化数据入湖流程1.5.4 增量…...
对分库分表进行批量操作
对ShardingJDBC基础了解：https://blog.csdn.net/m0_63297646/article/details/131894472 对批量操作案例：https://blog.csdn.net/m0_63297646/article/details/131843517 分为db0和db1两个库，每个库都有三张订单表，分表键根据年份…...
大数据组件-Flume集群环境的启动与验证
🥇🥇【大数据学习记录篇】-持续更新中~🥇🥇 个人主页：beixi 本文章收录于专栏（点击传送）：【大数据学习】 💓💓持续更新中，感谢各位前辈朋友们支持…...
【包过滤防火墙——iptables静态防火墙】的简单使用
文章目录 规则链的分类--五链处理的动作iptables常用参数和作用 防火墙就是堵和通的作用 iptables ：包过滤防火墙，是内核防火墙netfilter的管理工具 核心：四表五链 规则链的分类–五链 在进行路由选择前处理的数据包：PREROUTIN…...
关于MySQL数据库版本不同导致表进行比较的时候报错illegal mix of collations...的问题
问题发生的原委 之前在项目开发的时候，我本地也建立了数据库用作开发库，我本地的数据库版本是5.7的，但是测试和生产库都是8.0的版本，我们定义的数据库字符集是utf8mb4，排序规则是utf8mb4_general_ci，前段时…...
进程、操作系统
文章目录 一、冯诺依曼体系（Von Neumann Architecture）1. 概述2. CPU 二、操作系统（Operating System）三、进程(process)/任务(task) 一、冯诺依曼体系（Von Neumann Architecture） 1. 概述 分类 CPU 中央处…...
hadoop学习：mapreduce入门案例四：partitioner 和 combiner
先简单介绍一下partitioner 和 combiner Partitioner类 用于在Map端对key进行分区 默认使用的是HashPartitioner 获取key的哈希值使用key的哈希值对Reduce任务数求模决定每条记录应该送到哪个Reducer处理自定义Partitioner 继承抽象类Partitioner，重写getPartiti…...