当前位置： 首页 > news >正文

L1 项目概述与Hadoop部署

news 2026/2/10 8:58:20

1.技术栈：Hadoop+Hive+Sqoop+Flume+Azkaban

在这里插入图片描述
在这里插入图片描述

  • Flume采集Nginx web服务器上的日志，采集完成后存储到Hadoop的平台，最终存储到HDFS上，处理和分析采用Hive的方式，处理完之后利用Sqoop导出到Mysql中，最终利用一个JavaWeb的程序进行展现。
  • 使用技术：
  • 数据平台：Hadoop
  • 数据处理分析：Hive
  • 后端服务：SpringBoot + MyBatis
  • 数据可视化：Vue+Echarts
  • 数据迁移：Sqoop
  • 日志采集：Flume
    Hadoop 为用户提供了一个分布式基础架构，核心一个是HDFS分布式文件存储平台，一个是MapReduce。
  • HDFS文件系统原理

在这里插入图片描述

  • Namenode 记录原信息的路径信息
  • Datanodes 存数据的

MapReduce对数据进行处理：切片，以键值对的方式来存储

在这里插入图片描述

  • 分割
  • 建立新键值对
  • 合并相同的值为一个列表

在这里插入图片描述

  • Spark 实时计算引擎
  • Flume 数据采集
  • Sqoop 数据传输与MySql

课程主要精力放在项目流程搭建，工具的使用，业务逻辑分析上

项目部署

采用伪分布式的形式，一台机器模拟多台机器，

部署完成

在这里插入图片描述

相关文章：

L1 项目概述与Hadoop部署

1.技术栈：HadoopHiveSqoopFlumeAzkaban Flume采集Nginx web服务器上的日志，采集完成后存储到Hadoop的平台，最终存储到HDFS上，处理和分析采用Hive的方式，处理完之后利用Sqoop导出到Mysql中，最终利用一个Java…...

编程日记 2023/9/15 20:19:48

关键词文章生成器-标题文章生成器

那就是如何在根据标题生成文章和根据关键词生成文章之间找到平衡之道。在这个信息时代，内容创作已经成为了一项重要的工作，无论是博客作者、社交媒体达人还是企业宣传，都需要不断地输出优质的内容。但是，我们常常陷入一个两难的困…...

编程日记 2023/9/15 20:17:46

深入了解MySQL中的JSON_ARRAYAGG和JSON_OBJECT函数

在MySQL数据库中，JSON格式的数据处理已经变得越来越常见。JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，它可以用来存储和表示结构化的数据。MySQL提供了一些功能强大的JSON函数，其中两个关键的函数是…...

编程日记 2023/9/15 20:16:45

Ubuntu22.04开启后屏幕黄屏

1. 故障现象 系统：Ubuntu22.04 现象：电脑从开机到进入桌面一直屏幕黄屏 2. 故障分析 可能为屏幕色彩调节出现故障 3. 解决方案 系统设置——》色彩——》删除原来的配置（remove profile）——》添加配置Colorspace:Compatibl…...

编程日记 2023/9/15 20:15:44

华为云云耀云服务器L实例评测 | 搭建docker环境

目录 🍒docker的概念 🍒Docker 的优点 🫐1、快速，一致地交付您的应用程序 🫐2、响应式部署和扩展 🫐3、在同一硬件上运行更多工作负载 🍒云耀云服务器L实例 🫐产品优势 &#x1f95d…...

编程日记 2023/9/15 20:14:42

exesql=“UPDATE test set date=‘%s‘“ % date 是啥意思

这段代码是 Python 中的字符串格式化语法。让我们逐步解释它的含义： exesql "UPDATE test set date%s": 这是一个字符串赋值语句，将一个 SQL 更新语句赋值给 exesql 变量。SQL 更新语句是用于更新数据库表中的数据的语句。这个更新语句的目标…...

编程日记 2023/9/15 20:11:40

请体验一下falcon 180b 大语言模型的感觉

引言 由Technology Innovation Institute(T四训练的开源大模型Falcon 180B登陆Hugging Face!Falcon180B为开源大模型树立了全新的标杆。作为当前最大的开源大模型，有l80B参数并且是在在3.5万亿token的TII RefinedWeb数据集上进行训练，这也是目前…...

编程日记 2023/9/15 20:06:34

今晚8点，iPhone15开启预售

北京时间9月15日晚8点，备受全球果粉期待的苹果iPhone15系列手机正式开启预售。此次预售在苹果官网Apple Store在线商店、天猫Apple Store官方旗舰店以及Apple Store官方在线商店微信小程序同步进行。 今年苹果公司将Apple Store在线商店、天猫Apple Store官方旗舰店…...

编程日记 2023/9/15 20:03:29

Meetup 回顾｜Data Infra 研究社第十五期（含资料发布）

本文整理于上周六（9月09日）Data Infra 第 15 期的活动内容。本次活动由 Databend 研发工程师-韩山杰为大家带来了一场主题为《Databend 数据集成方案》的分享，让我们一起回顾一下吧~ 以下是本次活动的相关文字、视频及资料： 通过…...

编程日记 2023/9/15 20:02:28

I2S/PCM知识点记录

目录 1.常见的音频采样率有两类，一类是48K domain，另一类是44.1KHz domain 2.常见采样深度 【即单声道和单slot位宽】8/12/16/24/32 bit 3.帧结构 4.I2S/PCM允许实际有效采样位宽比传输的位宽小 5.ddr存储对齐 6.sclk和mclk以及adifclk的产…...

编程日记 2023/9/15 20:00:27

微信小程序——使用 Vant 组件实现 Popup 弹出层（各位置弹出详细代码分享）

✅作者简介：2022年博客新星 第八。热爱国学的Java后端开发者，修心和技术同步精进。 🍎个人主页：Java Fans的博客 🍊个人信条：不迁怒，不贰过。小知识，大智慧。 💞当前专栏…...

编程日记 2023/9/15 19:59:26

linux查看python的py文件的命令

在 Linux 中，要查看 Python 的 .py 文件内容，可以使用以下几种命令： 使用 cat 命令： cat /path/to/your_python_file.py cat 命令用于显示文件内容，将会在终端输出整个 .py 文件的内容。 使用 less 命令：…...

编程日记 2023/9/15 19:56:24

开源库源码分析：Okhttp源码分析(一)

开源库源码分析：OkHttp源码分析 导言 接下来就要开始分析一些常用开源库的源码了，作为最常用的网络请求库，OkHttp以其强大的功能深受Android开发者的喜爱（比如说我），还有对该库进行二次封装而成的热门库&a…...

编程日记 2023/9/15 19:55:23

无涯教程-JavaScript - LOOKUP函数

描述 需要查看单个行或一列并从第二行或第二列的同一位置查找值时,请使用LOOKUP函数。使用"查找"功能搜索一行或一列。 使用VLOOKUP函数可搜索一行或一列,或搜索多行和多列(如表)。它是LOOKUP的改进版本。 有两种使用LOOKUP的方法- 矢量形式 − Use this form of…...

编程日记 2023/9/15 19:49:16

这所院校太好考了！地处魔都！不要错过！

一、学校及专业介绍 上海电力大学（Shanghai University of Electric Power），位于上海市，是中央与上海市共建、以上海市管理为主的全日制普通高等院校，是教育部首批“卓越工程师教育培养计划”试点院校、上海高水平地方…...

编程日记 2023/9/15 19:48:16

Python - PyQt6、QDesigner、pyuic5-tool 安装使用

Python 开发可视化界面可以使用原生的 tkinter，但是原生框架使用起来颇为不方便，所以最流行的还是QT UI框架，QT是使用C语言开发，Python 想使用需要对其进行封装，所以就出现了PyQt框架，这个框架使用极其方便…...

编程日记 2023/9/15 19:47:15

C语言——指针进阶（三）

目录 一.前言摘要 二.排序函数qsort的模拟实现 三.指针和数组笔试题解析 一.前言摘要 讲述关于strlen和sizeof对于各种数组与指针的计算规则与用法。另外还有qsort函数的模拟实现（可以排序任意类型变量） 二.排序函数qsort的模拟实现 目标：…...

编程日记 2023/9/15 19:46:14

三勾商城（java+vue3）微信小程序商城+SAAS+前后端源码

项目介绍 本系统功能包括： 前台展示后台管理SAAS管理端，包括最基本的用户登录注册，下单， 购物车，购买，结算，订单查询，收货地址，后台商品管 理，订单管理&…...

编程日记 2023/9/15 19:45:13

【洁洁送书第七期】现在学 Java 找工作还有优势吗

java 现在学 Java 找工作还有优势吗？活力四射的 JavaTIOBE 编程语言排行榜从零开始学会 JavaJava 语言运行过程基础知识进阶知识高级知识talk is cheap, show me the code结语 文末赠书 现在学 Java 找工作还有优势吗？ 在某乎上可以看到大家对此问题的…...

编程日记 2023/9/15 19:42:11

npm发布自定义vue组件库

npm发布自定义vue组件库 创建项目 vue create test-ui自定义组件 创建自定义组件，组件名称根据你的需求来，最好一个组件一个文件夹，下图是我的示例。 src/components 组件和你写页面一样，所谓组件就是方便实用，不用…...

编程日记 2023/9/15 19:41:10

C++_核心编程_多态案例二-制作饮品

#include <iostream> #include <string> using namespace std;/*制作饮品的大致流程为&#xff1a;煮水 - 冲泡 - 倒入杯中 - 加入辅料 利用多态技术实现本案例&#xff0c;提供抽象制作饮品基类&#xff0c;提供子类制作咖啡和茶叶*//*基类*/ class AbstractDr…...

编程新知 2026/2/8 20:42:55

基于服务器使用 apt 安装、配置 Nginx

&#x1f9fe; 一、查看可安装的 Nginx 版本 首先&#xff0c;你可以运行以下命令查看可用版本&#xff1a; apt-cache madison nginx-core输出示例&#xff1a; nginx-core | 1.18.0-6ubuntu14.6 | http://archive.ubuntu.com/ubuntu focal-updates/main amd64 Packages ng…...

编程新知 2026/1/9 12:53:59

从深圳崛起的“机器之眼”：赴港乐动机器人的万亿赛道赶考路

进入2025年以来&#xff0c;尽管围绕人形机器人、具身智能等机器人赛道的质疑声不断&#xff0c;但全球市场热度依然高涨&#xff0c;入局者持续增加。 以国内市场为例&#xff0c;天眼查专业版数据显示&#xff0c;截至5月底&#xff0c;我国现存在业、存续状态的机器人相关企…...

编程新知 2026/2/8 7:23:45

土地利用/土地覆盖遥感解译与基于CLUE模型未来变化情景预测；从基础到高级，涵盖ArcGIS数据处理、ENVI遥感解译与CLUE模型情景模拟等

&#x1f50d; 土地利用/土地覆盖数据是生态、环境和气象等诸多领域模型的关键输入参数。通过遥感影像解译技术&#xff0c;可以精准获取历史或当前任何一个区域的土地利用/土地覆盖情况。这些数据不仅能够用于评估区域生态环境的变化趋势&#xff0c;还能有效评价重大生态工程…...

编程新知 2025/9/12 15:10:44

IT供电系统绝缘监测及故障定位解决方案

随着新能源的快速发展&#xff0c;光伏电站、储能系统及充电设备已广泛应用于现代能源网络。在光伏领域&#xff0c;IT供电系统凭借其持续供电性好、安全性高等优势成为光伏首选&#xff0c;但在长期运行中&#xff0c;例如老化、潮湿、隐裂、机械损伤等问题会影响光伏板绝缘层…...

编程新知 2026/2/1 6:36:36

用docker来安装部署freeswitch记录

今天刚才测试一个callcenter的项目&#xff0c;所以尝试安装freeswitch 1、使用轩辕镜像 - 中国开发者首选的专业 Docker 镜像加速服务平台 编辑下面/etc/docker/daemon.json文件为 {"registry-mirrors": ["https://docker.xuanyuan.me"] }同时可以进入轩…...

编程新知 2026/2/1 3:20:44

中医有效性探讨

文章目录 西医是如何发展到以生物化学为药理基础的现代医学&#xff1f;传统医学奠基期&#xff08;远古 - 17 世纪&#xff09;近代医学转型期&#xff08;17 世纪 - 19 世纪末&#xff09;​现代医学成熟期&#xff08;20世纪至今&#xff09; 中医的源远流长和一脉相承远古至…...

编程新知 2026/1/23 7:56:54

深入浅出深度学习基础：从感知机到全连接神经网络的核心原理与应用

文章目录 前言一、感知机 (Perceptron)1.1 基础介绍1.1.1 感知机是什么&#xff1f;1.1.2 感知机的工作原理 1.2 感知机的简单应用&#xff1a;基本逻辑门1.2.1 逻辑与 (Logic AND)1.2.2 逻辑或 (Logic OR)1.2.3 逻辑与非 (Logic NAND) 1.3 感知机的实现1.3.1 简单实现 (基于阈…...

编程新知 2026/1/26 13:29:00

基于IDIG-GAN的小样本电机轴承故障诊断

目录 🔍 核心问题 一、IDIG-GAN模型原理 1. 整体架构 2. 核心创新点 (1) ​梯度归一化（Gradient Normalization）​​ (2) ​判别器梯度间隙正则化（Discriminator Gradient Gap Regularization）​​ (3) ​自注意力机制（Self-Attention）​​ 3. 完整损失函数 二…...

编程新知 2026/1/31 10:58:46

基于Springboot+Vue的办公管理系统

角色&#xff1a; 管理员、员工 技术&#xff1a; 后端: SpringBoot, Vue2, MySQL, Mybatis-Plus 前端: Vue2, Element-UI, Axios, Echarts, Vue-Router 核心功能&#xff1a; 该办公管理系统是一个综合性的企业内部管理平台&#xff0c;旨在提升企业运营效率和员工管理水…...

编程新知 2026/1/31 8:55:37