当前位置： 首页 > article >正文

【大数据技术】搭建完全分布式高可用大数据集群（Flume）

article 2026/4/29 17:47:51

搭建完全分布式高可用大数据集群（Flume）

  • apache-flume-1.11.0-bin.tar.gz

注：请在阅读本篇文章前，将以上资源下载下来。

写在前面

本文主要介绍搭建完全分布式高可用集群 Flume 的详细步骤。

注意： 统一约定将软件安装包存放于虚拟机的/software目录下，软件安装至/opt目录下。

安装Flume

  1. 用finalshell将压缩包上传到虚拟机master的/software目录下。

00

  1. 将压缩包解压到/opt目录并设置软链接。
tar -zxvf /software/apache-flume-1.11.0-bin.tar.gz -C /opt/
ln -s /opt/

相关文章：

【大数据技术】搭建完全分布式高可用大数据集群（Flume）

搭建完全分布式高可用大数据集群（Flume） apache-flume-1.11.0-bin.tar.gz注：请在阅读本篇文章前，将以上资源下载下来。 写在前面 本文主要介绍搭建完全分布式高可用集群 Flume 的详细步骤。 注意： 统一约定将软件安装包存放于虚拟机的/software目录下，软件安装至/opt目…...

编程日记 2026/4/14 21:41:16

疯狂前端面试题(二)

一、Webpack的理解 Webpack 是一个现代 JavaScript 应用程序的静态模块打包工具。Webpack 能够将各种资源（JavaScript、CSS、图片、字体等）视为模块，并通过依赖关系图将这些模块打包成一个或多个最终的输出文件（通常是一个或几个…...

编程日记 2026/2/18 20:37:58

kafka专栏解读

kafka专栏文章的编写将根据kafka架构进行编写，即先编辑kafka生产者相关的内容，再编写kafka服务端的内容（这部分是核心，内容较多，包含kafka分区管理、日志存储、延时操作、控制器、可靠性等），最后…...

编程日记 2026/4/20 3:16:38

深入探究 C++17 std::is_invocable

文章目录 一、引言二、std::is_invocable 概述代码示例输出结果 三、std::is_invocable 的工作原理简化实现示例 四、std::is_invocable 的相关变体1. std::is_invocable_r2. std::is_nothrow_invocable 和 std::is_nothrow_invocable_r 五、使用场景1. 模板元编程2. 泛型算法 …...

编程日记 2026/4/18 4:24:29

OpenCV：图像修复

目录 简述 1. 原理说明 1.1 Navier-Stokes方法（INPAINT_NS） 1.2 快速行进方法（INPAINT_TELEA） 2. 实现步骤 2.1 输入图像和掩膜（Mask） 2.2 调用cv2.inpaint()函数 2.3 完整代码示例 2.4 运行结果 …...

编程日记 2026/4/26 10:46:44

【项目日记(四)】thread cache 层

前言 前面我们对整个项目的框架进行了介绍，本期开始我们将进行第一层线程缓存层(thread cache)的详细介绍与实现。 目录 前言 一、thread cache 的整体设计 二、内存对齐规则和哈希映射关系 2.1 如何对齐？ 2.2 这样设计对齐规则的好处&#xff1f…...

编程日记 2026/4/29 17:44:20

人工智能图像分割之Mask2former源码解读

环境搭建: (1)首先本代码是下载的mmdetection-2022.9的,所以它的版本要配置好,本源码配置例如mmcv1.7,python3.7,pytorch1.13,cuda11.7。pytorch与python,cuda版本匹配可参考：https://www.jb51.net/python/3308342lx.htm。 (2)还有一个是先要安装一个vs2022版本或…...

编程日记 2026/4/18 11:26:01

uniapp 编译生成鸿蒙正式app步骤

1，在最新版本DevEco-Studio工具新建一个空项目并生成p12和csr文件（构建-生成私钥和证书请求文件） 2，华为开发者平台 根据上面生成的csr文件新增cer和p7b文件，分发布和测试 3，在最新版本DevEco-Studio工具 文…...

编程日记 2026/4/16 7:31:05

2024最新版Java面试题及答案，【来自于各大厂】

发现网上很多Java面试题都没有答案，所以花了很长时间搜集整理出来了这套Java面试题大全~ 篇幅限制就只能给大家展示小册部分内容了，需要完整版的及Java面试宝典小伙伴点赞转发，关注我后在【翻到最下方，文尾点击名片】即可免费获取…...

编程日记 2026/4/28 5:44:26

Excel 融合 deepseek

效果展示 代码实现 Function QhBaiDuYunAIReq(question, _Optional Authorization "Bearer ", _Optional Qhurl "https://qianfan.baidubce.com/v2/chat/completions")Dim XMLHTTP As ObjectDim url As Stringurl Qhurl 这里替换为你实际的URLDim postD…...

编程日记 2026/4/27 20:32:16

【填坑】新能源汽车三电设计之常用半导体器件系统性介绍

# 在新能源汽车的三电（电池、电机、电控）系统中，半导体器件扮演着至关重要的角色。它们如同系统的“大脑”和“神经末梢”，精确地控制着电能的流向与转换，确保新能源汽车高效、稳定且安全地运行。今天，就让…...

编程日记 2025/5/18 5:50:01

SpringCloud面试题----Nacos和Eureka的区别

功能特性 服务发现 Nacos：支持基于 DNS 和 RPC 的服务发现，提供了更为灵活的服务发现机制，能满足不同场景下的服务发现需求。Eureka：主要基于 HTTP 的 RESTful 接口进行服务发现，客户端通过向 Eureka Server 发送 HT…...

编程日记 2025/5/18 8:10:22

21.2.6 字体和边框

版权声明：本文为博主原创文章，转载请在显著位置标明本文出处以及作者网名，未经作者允许不得用于商业目的。 通过设置Rang.Font对象的几个成员就可以修改字体，设置Range.Borders就可以修改边框样式。 【例 21.6】【项目&#xff…...

编程日记 2026/4/18 1:23:31

正则表达式进阶（二）——零宽断言详解：\b \B \K \z \A

在正则表达式中，零宽断言是一种非常强大的工具，能够在不消费字符的情况下对匹配位置进行约束。除了环视（lookahead 和 lookbehind）以外，还有一些常用的零宽断言，它们用于处理边界、字符串的开头和结尾等特殊…...

编程日记 2025/5/21 1:45:45

OpenFeign远程调用返回的是List＜T＞类型的数据

在使用 OpenFeign 进行远程调用时，如果接口返回的是 List 类型的数据，可以通过以下方式处理： 直接定义返回类型为List Feign 默认支持 JSON 序列化/反序列化，如果服务端返回的是 List的JSON格式数据，可以直接在 Feig…...

编程日记 2026/4/14 17:31:00

三维模拟-机械臂自翻车

机械仿真 前言效果图后续 前言 最近在研究Unity机械仿真，用Unity实现其运动学仿真展示的功能，发现一个好用的插件“MGS-Machinery-master”，完美的解决了Unity关节定义缺少液压缸伸缩关节功能，内置了多个场景，讲真的&…...

编程日记 2026/4/14 22:29:50

网络安全治理架构图 网络安全管理架构

网站安全攻防战 XSS攻击 防御手段： - 消毒。 因为恶意脚本中有一些特殊字符，可以通过转义的方式来进行防范 - HttpOnly 对cookie添加httpOnly属性则脚本不能修改cookie。就能防止恶意脚本篡改cookie 注入攻击 SQL注入攻击需要攻击者对数据库结构有所…...

编程日记 2026/4/14 12:56:56

调用deepseek的API接口使用，对话，json化，产品化

背景 最近没咋用chatgpt了，deepseek-r1推理模型写代码质量是很高。deepseek其输出内容的质量和效果在国产的模型里面来说确实算是最强的，并且成本低，它的API接口生态也做的非常好，和OpenAI完美兼容。所以我们这一期来学一下怎么调…...

编程日记 2026/4/16 17:37:32

omegaconf库使用实践

最近在重构RapidOCR仓库代码，使其更加优雅的同时，具有扩展性。无意从他人源码中发现omegaconf库。 omegaconf OmegaConf是一个用于处理配置文件和命令行参数的Python库。它支持YAML、JSON、INI等多种配置文件格式，提供了配置合并、类型安全…...

编程日记 2026/2/28 7:03:03

STM32 USART1 串口调试打印，映射printf函数

该代码可以在freertos中正常运行，你可以进行更多细节优化 PA9(TX) PA10(RX) #include "usart.h"// 解决串口死机问题 #pragma import(__use_no_semihosting) struct __FILE { int handle; }; // 标准库需要的支持函数 FILE __…...

编程日记 2026/2/15 14:36:34

DeepSeek大模型本地部署实战

1. 下载并安装Ollama 打开浏览器：使用你常用的浏览器（如Chrome、Firefox等）访问Ollama的官方网站。无需特殊网络环境，直接搜索“Ollama”即可找到。 登录与下载：进入Ollama官网后，点击右上角的“Download…...

编程日记 2026/4/20 1:21:50

【学习总结|DAY037】Linux 项目部署

引言 在当今的软件开发领域，Linux 以其安全、稳定、免费且开源的特性，成为项目部署的首选操作系统。无论是 Java 项目，还是各类开发、测试、生产环境中的软件安装，Linux 都占据着重要地位。本文将结合我今天所学内容，…...

编程日记 2025/12/8 6:07:53

Spring Boot Actuator使用

说明&#xff1a;本文介绍Spring Boot Actuator的使用&#xff0c;关于Spring Boot Actuator介绍&#xff0c;下面这篇博客写得很好&#xff0c;珠玉在前&#xff0c;我就不多介绍了。 Spring Boot Actuator 简单使用 项目里引入下面这个依赖 <!--Spring Boot Actuator依…...

编程日记 2026/4/22 5:29:12

[css] 黑白主题切换

link动态引入 类名切换 css滤镜 var 类名切换 v-bind css预处理器mixin类名切换 【前端知识分享】CSS主题切换方案...

编程日记 2026/4/21 18:53:19

阿里云专有云网络架构学习

阿里云专有云网络架构 叶脊&#xff08;spine-leaf&#xff09;网络和传统三层网络拓扑对比 阿里云网络架构V3拓扑角色介绍推荐设备设备组网举例带外管理网络带外网和带内网对比设备介绍 安全网络设备介绍 参考 后续更新流量分析叶脊&#xff08;spine-leaf&#xff09;网络和传…...

编程日记 2026/4/22 18:33:01

【AIGC】冷启动数据与多阶段训练在 DeepSeek 中的作用

博客主页&#xff1a; [小ᶻ☡꙳ᵃⁱᵍᶜ꙳] 本文专栏: AIGC | ChatGPT 文章目录 &#x1f4af;前言&#x1f4af;冷启动数据的作用冷启动数据设计 &#x1f4af;多阶段训练的作用阶段 1&#xff1a;冷启动微调阶段 2&#xff1a;推理导向强化学习&#xff08;RL&#xff0…...

编程日记 2026/4/19 15:55:19

在SIP路由中，常见的对接方式

好的&#xff0c;我已将应用场景和案例分为两列。修改后的表格如下&#xff1a; 对接方式描述应用场景案例注册 (REGISTER)用于用户注册&#xff0c;将用户位置&#xff08;如IP地址&#xff09;与其用户名进行绑定。用户通过发送REGISTER请求将自己注册到SIP服务器。注册过程…...

编程日记 2025/7/4 10:23:16

GenAI + 电商：从单张图片生成可动态模拟的3D服装

在当今数字化时代，电子商务和虚拟现实技术的结合正在改变人们的购物体验。特别是在服装行业，消费者越来越期待能够通过虚拟试衣来预览衣服的效果，而无需实际穿戴。Dress-1-to-3 技术框架正是为此而生，它利用生成式AI模型（GenAI）和物理模拟技术，将一张普通的穿衣照片转化…...

编程日记 2026/4/28 10:11:41

harmonyOS生命周期详述

harmonyOS的生命周期分为app(应用)的生命周期和页面的生命周期函数两部分 应用的生命周期-app应用 在app.js中写逻辑,具体有哪些生命周期函数呢,请看下图: onCreated()、onShow()、onHide()、onDestroy()这五部分 页面及组件生命周期 着重说下onShow和onHide,分别代表是不是…...

编程日记 2026/4/27 15:17:27

记一次调整磁盘分区大小的经验

背景 redhat 6 系统 根目录挂载的逻辑卷满了&#xff0c;系统都不能正常运行了 但是/home目录挂载的另外一个逻辑卷却占用只有4% 所以想把/home挂的逻辑卷分一部分给/ 挂的逻辑卷 备份 先把系统整盘备份一下&#xff0c;用clonezilla做一个磁盘镜像&#xff0c;免得失误了搞…...

编程日记 2026/4/28 6:18:34