当前位置：首页 > news >正文

大数据课程E1——Flume的概述

news 2025/10/30 5:02:26

文章作者邮箱：yugongshiye@sina.cn 地址：广东惠州

▲ 本章节目的

⚪ 了解Ganglia的概念；

⚪ 了解Ganglia的拓扑结构和执行流程；

⚪ 掌握Ganglia的安装操作；

一、简介

1. 概述

1. Flume原本是由Cloudera公司开发的后来贡献给了Apache的一套分布式的、可靠的、针对日志数据进行收集(collecting)、汇聚(aggregating)和传输(moving)的机制。

2. 在大数据中，实际开发中有超过70%的数据来源于日志 - 日志是大数据的基石。

3. Flume针对日志提供了非常简单且灵活的流式传输机制。

4. 版本：

a. Flume0.X：又称之为Flume-og。依赖于Zookeeper，结构配置相对复杂，现在市面上已经停用这个版本。

b. Flume1.X：又称之为Flume-ng。不依赖于Zookeeper，结构配置相对简单，是市面上常用的版本。

2. 基本概念

1. Event：

a. 在Flume中，会将收集到的每一条日志封装成一个Event对象 - 在Flume中，一个Event就对应了一条日志。

b. Event本质上是一个json串，固定的包含两部分ÿ

大数据课程E1——Flume的概述

文章作者邮箱：yugongshiye@sina.cn 地址：广东惠州 ▲ 本章节目的 ⚪ 了解Ganglia的概念； ⚪ 了解Ganglia的拓扑结构和执行流程； ⚪ 掌握Ganglia的安装操作；一、简介 1. 概述 1. Flume原本是由Cloudera公司开发的后来贡献给了Apache的一套分布式的、可…...

编程日记 2023/8/3 1:51:15

01.Redis实现发送验证码

学习目标： 提示：学习如何利用Redis来实现发送验证码功能学习产出： 1. 准备pom环境 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-redis</artifactId><…...

编程日记 2023/8/3 1:50:13

Vue中对组件的调用

在Vue中，你可以在一个页面中调用其他组件，以实现组件的复用和组合效果。以下是在Vue中实现调用页面组件的几种常见方法之一： 1.使用Vue的组件标签： 你可以在Vue的模板中使用已注册的组件标签，以调用和渲染其他组件。首…...

编程日记 2023/8/3 1:49:12

SpringCloud Gateway获取请求响应body大小

前提本文获取请求、响应body大小方法的前提 : 网关只做转发逻辑，不修改请求、相应的body内容。 SpringCloud Gateway内部的机制类似下图，HttpServer（也就是NettyServer）接收外部的请求，在Gateway内部请求将会通过Htt…...

编程日记 2023/8/3 1:48:11

二叉树的层序遍历

给你二叉树的根节点 root ，返回其节点值的层序遍历。 （即逐层地，从左到右访问所有节点） 。示例 1： 输入：root [3,9,20,null,null,15,7] 输出：[[3],[9,20],[15,7]]示例 2： 输入…...

编程日记 2023/8/3 1:47:10

Spring Boot 集成 Thymeleaf 模板引擎

Spring Boot 集成 Thymeleaf 模板引擎 1. Thymeleaf 介绍 Thymeleaf 是适用于 Web 和独立环境的现代服务器端 Java 模板引擎。 Thymeleaf 的主要目标是为开发工作流程带来优雅的自然模板，既可以在浏览器中正确显示的 HTML，也可以用作静态原型&#xff…...

编程日记 2023/8/3 1:46:09

如何快速找到合适的工作？

前面好几篇文章都在写面试的感悟，带大家了解了目前的一些市场行情，以及面试过程中招聘方与求职者看待面试的不同视角。今天这篇文章写一些对大家求职面试可能更有用的几条建议： 第一，值与量的权衡在早些年，大多数…...

编程日记 2023/8/3 1:45:08

Elasticsearch入门用例

快速开始使用版本：V7.12 资料来自官方文档本指南幫助初學者學習如何： 將數據添加到 Elasticsearch 搜索和排序數據在搜索過程中從非結構化內容中提取字段测试运行： http://localhost:9200 响应： {"name": &qu…...

编程日记 2023/8/3 1:44:02

python制作超炫流星雨表白,python好看的流星雨代码

大家好，本文将围绕python制作超炫流星雨表白展开说明，python好看的流星雨代码是一个很多人都想弄明白的事情，想搞清楚html流星雨代码可复制需要先了解以下几个事情。本文讲述了Python代码示例：实现流星雨特效！具有很好…...

编程日记 2023/8/3 1:43:01

根据数字，转成对应的图片 - (void)viewDidLoad {[super viewDidLoad];[self testNum2String:10086]; }/// 根据数字，显示对应的图片数字用特定的图片显示 - (void)testNum2String:(NSInteger)num {UIView *numContentView [[UIView alloc] initWithFr…...

编程日记 2023/8/3 1:42:00

mac cli文件管理器

背景最近研究了一下在控制台查看文件的插件ranger, 官方的解释是：一个cli下的文件管理器。觉得效果也很酷炫，所以在此展示一下。安装 brew install ranger配置生成建议第一次使用的时候使用 ranger --copy-configall将会在~/.config/ranger目录输…...

编程日记 2023/8/3 1:40:59

不同语言操作符的优先级

看到标题，可能会心生疑惑: 这么基础且重要的操作，不同语言不应该是一致的吗？ 并不一定，比如对于右移运算和加法运算，Go就与其他多数语言表现得不一致： Go: package mainimport "fmt"func main() …...

编程日记 2023/8/3 1:39:57

YOLOv5源码解读1.7-网络架构common.py

往期回顾:YOLOv5源码解读1.0-目录_汉卿HanQ的博客-CSDN博客学习了yolo.py网络模型后，今天学习common.py，common.py存放这YOLOv5网络搭建的通用模块，如果修改某一块，就要修改这个文件中对应的模块目录 1.导入python包 2.加载自…...

编程日记 2023/8/3 1:38:56

关于前端框架vue2升级为vue3的相关说明

一些框架需要升级当前（202306） Vue 的最新稳定版本是 v3.3.4。Vue 框架升级为最新的3.0版本，涉及的相关依赖变更有： 前提条件：已安装 16.0 或更高版本的Node.js（摘） 必须的变更：核…...

编程日记 2023/8/3 1:37:54

gdb调试时查看汇编代码

在gdb中查看汇编代码，可以使用display命令或x命令。以下是一个示例程序，我们以它为例来演示如何在gdb中查看汇编代码。 #include <stdio.h> int main() { int a 10; int b 20; int c a b; printf("c %d\n", c); return 0;…...

编程日记 2023/8/3 1:36:45