当前位置： 首页 > news >正文

L1 项目概述与Hadoop部署

news 2025/8/24 4:47:47

1.技术栈：Hadoop+Hive+Sqoop+Flume+Azkaban

在这里插入图片描述
在这里插入图片描述

  • Flume采集Nginx web服务器上的日志，采集完成后存储到Hadoop的平台，最终存储到HDFS上，处理和分析采用Hive的方式，处理完之后利用Sqoop导出到Mysql中，最终利用一个JavaWeb的程序进行展现。
  • 使用技术：
  • 数据平台：Hadoop
  • 数据处理分析：Hive
  • 后端服务：SpringBoot + MyBatis
  • 数据可视化：Vue+Echarts
  • 数据迁移：Sqoop
  • 日志采集：Flume
    Hadoop 为用户提供了一个分布式基础架构，核心一个是HDFS分布式文件存储平台，一个是MapReduce。
  • HDFS文件系统原理

在这里插入图片描述

  • Namenode 记录原信息的路径信息
  • Datanodes 存数据的

MapReduce对数据进行处理：切片，以键值对的方式来存储

在这里插入图片描述

  • 分割
  • 建立新键值对
  • 合并相同的值为一个列表

在这里插入图片描述

  • Spark 实时计算引擎
  • Flume 数据采集
  • Sqoop 数据传输与MySql

课程主要精力放在项目流程搭建，工具的使用，业务逻辑分析上

项目部署

采用伪分布式的形式，一台机器模拟多台机器，

部署完成

在这里插入图片描述

相关文章：

L1 项目概述与Hadoop部署

1.技术栈：HadoopHiveSqoopFlumeAzkaban Flume采集Nginx web服务器上的日志，采集完成后存储到Hadoop的平台，最终存储到HDFS上，处理和分析采用Hive的方式，处理完之后利用Sqoop导出到Mysql中，最终利用一个Java…...

编程日记 2023/9/15 20:19:48

关键词文章生成器-标题文章生成器

那就是如何在根据标题生成文章和根据关键词生成文章之间找到平衡之道。在这个信息时代，内容创作已经成为了一项重要的工作，无论是博客作者、社交媒体达人还是企业宣传，都需要不断地输出优质的内容。但是，我们常常陷入一个两难的困…...

编程日记 2023/9/15 20:17:46

深入了解MySQL中的JSON_ARRAYAGG和JSON_OBJECT函数

在MySQL数据库中，JSON格式的数据处理已经变得越来越常见。JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，它可以用来存储和表示结构化的数据。MySQL提供了一些功能强大的JSON函数，其中两个关键的函数是…...

编程日记 2023/9/15 20:16:45

Ubuntu22.04开启后屏幕黄屏

1. 故障现象 系统：Ubuntu22.04 现象：电脑从开机到进入桌面一直屏幕黄屏 2. 故障分析 可能为屏幕色彩调节出现故障 3. 解决方案 系统设置——》色彩——》删除原来的配置（remove profile）——》添加配置Colorspace:Compatibl…...

编程日记 2023/9/15 20:15:44

华为云云耀云服务器L实例评测 | 搭建docker环境

目录 🍒docker的概念 🍒Docker 的优点 🫐1、快速，一致地交付您的应用程序 🫐2、响应式部署和扩展 🫐3、在同一硬件上运行更多工作负载 🍒云耀云服务器L实例 🫐产品优势 &#x1f95d…...

编程日记 2023/9/15 20:14:42

exesql=“UPDATE test set date=‘%s‘“ % date 是啥意思

这段代码是 Python 中的字符串格式化语法。让我们逐步解释它的含义： exesql "UPDATE test set date%s": 这是一个字符串赋值语句，将一个 SQL 更新语句赋值给 exesql 变量。SQL 更新语句是用于更新数据库表中的数据的语句。这个更新语句的目标…...

编程日记 2023/9/15 20:11:40

请体验一下falcon 180b 大语言模型的感觉

引言 由Technology Innovation Institute(T四训练的开源大模型Falcon 180B登陆Hugging Face!Falcon180B为开源大模型树立了全新的标杆。作为当前最大的开源大模型，有l80B参数并且是在在3.5万亿token的TII RefinedWeb数据集上进行训练，这也是目前…...

编程日记 2023/9/15 20:06:34

今晚8点，iPhone15开启预售

北京时间9月15日晚8点，备受全球果粉期待的苹果iPhone15系列手机正式开启预售。此次预售在苹果官网Apple Store在线商店、天猫Apple Store官方旗舰店以及Apple Store官方在线商店微信小程序同步进行。 今年苹果公司将Apple Store在线商店、天猫Apple Store官方旗舰店…...

编程日记 2023/9/15 20:03:29

Meetup 回顾｜Data Infra 研究社第十五期（含资料发布）

本文整理于上周六（9月09日）Data Infra 第 15 期的活动内容。本次活动由 Databend 研发工程师-韩山杰为大家带来了一场主题为《Databend 数据集成方案》的分享，让我们一起回顾一下吧~ 以下是本次活动的相关文字、视频及资料： 通过…...

编程日记 2023/9/15 20:02:28

I2S/PCM知识点记录

目录 1.常见的音频采样率有两类，一类是48K domain，另一类是44.1KHz domain 2.常见采样深度 【即单声道和单slot位宽】8/12/16/24/32 bit 3.帧结构 4.I2S/PCM允许实际有效采样位宽比传输的位宽小 5.ddr存储对齐 6.sclk和mclk以及adifclk的产…...

编程日记 2023/9/15 20:00:27

微信小程序——使用 Vant 组件实现 Popup 弹出层（各位置弹出详细代码分享）

✅作者简介：2022年博客新星 第八。热爱国学的Java后端开发者，修心和技术同步精进。 🍎个人主页：Java Fans的博客 🍊个人信条：不迁怒，不贰过。小知识，大智慧。 💞当前专栏…...

编程日记 2023/9/15 19:59:26

linux查看python的py文件的命令

在 Linux 中，要查看 Python 的 .py 文件内容，可以使用以下几种命令： 使用 cat 命令： cat /path/to/your_python_file.py cat 命令用于显示文件内容，将会在终端输出整个 .py 文件的内容。 使用 less 命令：…...

编程日记 2023/9/15 19:56:24

开源库源码分析：Okhttp源码分析(一)

开源库源码分析：OkHttp源码分析 导言 接下来就要开始分析一些常用开源库的源码了，作为最常用的网络请求库，OkHttp以其强大的功能深受Android开发者的喜爱（比如说我），还有对该库进行二次封装而成的热门库&a…...

编程日记 2023/9/15 19:55:23

无涯教程-JavaScript - LOOKUP函数

描述 需要查看单个行或一列并从第二行或第二列的同一位置查找值时,请使用LOOKUP函数。使用"查找"功能搜索一行或一列。 使用VLOOKUP函数可搜索一行或一列,或搜索多行和多列(如表)。它是LOOKUP的改进版本。 有两种使用LOOKUP的方法- 矢量形式 − Use this form of…...

编程日记 2023/9/15 19:49:16

这所院校太好考了！地处魔都！不要错过！

一、学校及专业介绍 上海电力大学（Shanghai University of Electric Power），位于上海市，是中央与上海市共建、以上海市管理为主的全日制普通高等院校，是教育部首批“卓越工程师教育培养计划”试点院校、上海高水平地方…...

编程日记 2023/9/15 19:48:16

Python - PyQt6、QDesigner、pyuic5-tool 安装使用

Python 开发可视化界面可以使用原生的 tkinter，但是原生框架使用起来颇为不方便，所以最流行的还是QT UI框架，QT是使用C语言开发，Python 想使用需要对其进行封装，所以就出现了PyQt框架，这个框架使用极其方便…...

编程日记 2023/9/15 19:47:15

C语言——指针进阶（三）

目录 一.前言摘要 二.排序函数qsort的模拟实现 三.指针和数组笔试题解析 一.前言摘要 讲述关于strlen和sizeof对于各种数组与指针的计算规则与用法。另外还有qsort函数的模拟实现（可以排序任意类型变量） 二.排序函数qsort的模拟实现 目标：…...

编程日记 2023/9/15 19:46:14

三勾商城（java+vue3）微信小程序商城+SAAS+前后端源码

项目介绍 本系统功能包括： 前台展示后台管理SAAS管理端，包括最基本的用户登录注册，下单， 购物车，购买，结算，订单查询，收货地址，后台商品管 理，订单管理&…...

编程日记 2023/9/15 19:45:13

【洁洁送书第七期】现在学 Java 找工作还有优势吗

java 现在学 Java 找工作还有优势吗？活力四射的 JavaTIOBE 编程语言排行榜从零开始学会 JavaJava 语言运行过程基础知识进阶知识高级知识talk is cheap, show me the code结语 文末赠书 现在学 Java 找工作还有优势吗？ 在某乎上可以看到大家对此问题的…...

编程日记 2023/9/15 19:42:11

npm发布自定义vue组件库

npm发布自定义vue组件库 创建项目 vue create test-ui自定义组件 创建自定义组件，组件名称根据你的需求来，最好一个组件一个文件夹，下图是我的示例。 src/components 组件和你写页面一样，所谓组件就是方便实用，不用…...

编程日记 2023/9/15 19:41:10

应用升级/灾备测试时使用guarantee 闪回点迅速回退

1.场景 应用要升级,当升级失败时,数据库回退到升级前. 要测试系统,测试完成后,数据库要回退到测试前。 相对于RMAN恢复需要很长时间， 数据库闪回只需要几分钟。 2.技术实现 数据库设置 2个db_recovery参数 创建guarantee闪回点，不需要开启数据库闪回。…...

编程新知 2025/7/30 7:20:17

RocketMQ延迟消息机制

两种延迟消息 RocketMQ中提供了两种延迟消息机制 指定固定的延迟级别 通过在Message中设定一个MessageDelayLevel参数，对应18个预设的延迟级别指定时间点的延迟级别 通过在Message中设定一个DeliverTimeMS指定一个Long类型表示的具体时间点。到了时间点后&#xf…...

编程新知 2025/8/5 7:03:28

React第五十七节 Router中RouterProvider使用详解及注意事项

前言 在 React Router v6.4 中&#xff0c;RouterProvider 是一个核心组件&#xff0c;用于提供基于数据路由&#xff08;data routers&#xff09;的新型路由方案。 它替代了传统的 <BrowserRouter>&#xff0c;支持更强大的数据加载和操作功能&#xff08;如 loader 和…...

编程新知 2025/8/21 3:47:19

边缘计算医疗风险自查APP开发方案

核心目标：在便携设备（智能手表/家用检测仪）部署轻量化疾病预测模型，实现低延迟、隐私安全的实时健康风险评估。 一、技术架构设计 #mermaid-svg-iuNaeeLK2YoFKfao {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg…...

编程新知 2025/8/21 20:56:15

MongoDB学习和应用(高效的非关系型数据库)

一丶 MongoDB简介 对于社交类软件的功能&#xff0c;我们需要对它的功能特点进行分析&#xff1a; 数据量会随着用户数增大而增大读多写少价值较低非好友看不到其动态信息地理位置的查询… 针对以上特点进行分析各大存储工具&#xff1a; mysql&#xff1a;关系型数据库&am…...

编程新知 2025/8/24 1:33:09

MFC 抛体运动模拟：常见问题解决与界面美化

在 MFC 中开发抛体运动模拟程序时，我们常遇到 轨迹残留、无效刷新、视觉单调、物理逻辑瑕疵 等问题。本文将针对这些痛点，详细解析原因并提供解决方案，同时兼顾界面美化，让模拟效果更专业、更高效。 问题一：历史轨迹与小球残影残留 现象 小球运动后，历史位置的 “残影”…...

编程新知 2025/8/23 8:46:36

【Nginx】使用 Nginx+Lua 实现基于 IP 的访问频率限制

使用 NginxLua 实现基于 IP 的访问频率限制 在高并发场景下&#xff0c;限制某个 IP 的访问频率是非常重要的&#xff0c;可以有效防止恶意攻击或错误配置导致的服务宕机。以下是一个详细的实现方案&#xff0c;使用 Nginx 和 Lua 脚本结合 Redis 来实现基于 IP 的访问频率限制…...

编程新知 2025/8/20 11:30:50

Web中间件--tomcat学习

Web中间件–tomcat Java虚拟机详解 什么是JAVA虚拟机 Java虚拟机是一个抽象的计算机&#xff0c;它可以执行Java字节码。Java虚拟机是Java平台的一部分&#xff0c;Java平台由Java语言、Java API和Java虚拟机组成。Java虚拟机的主要作用是将Java字节码转换为机器代码&#x…...

编程新知 2025/8/2 20:23:55

【从零开始学习JVM | 第四篇】类加载器和双亲委派机制(高频面试题)

前言&#xff1a; 双亲委派机制对于面试这块来说非常重要&#xff0c;在实际开发中也是经常遇见需要打破双亲委派的需求&#xff0c;今天我们一起来探索一下什么是双亲委派机制&#xff0c;在此之前我们先介绍一下类的加载器。 目录 ​编辑 前言&#xff1a; 类加载器 1. …...

编程新知 2025/8/21 11:43:57

HybridVLA——让单一LLM同时具备扩散和自回归动作预测能力：训练时既扩散也回归，但推理时则扩散

前言 如上一篇文章《dexcap升级版之DexWild》中的前言部分所说&#xff0c;在叠衣服的过程中&#xff0c;我会带着团队对比各种模型、方法、策略&#xff0c;毕竟针对各个场景始终寻找更优的解决方案&#xff0c;是我个人和我司「七月在线」的职责之一 且个人认为&#xff0c…...

编程新知 2025/8/22 6:01:06