当前位置：首页 > news >正文

L1 项目概述与Hadoop部署

news 2026/3/27 16:49:49

1.技术栈：Hadoop+Hive+Sqoop+Flume+Azkaban

在这里插入图片描述

Flume采集Nginx web服务器上的日志，采集完成后存储到Hadoop的平台，最终存储到HDFS上，处理和分析采用Hive的方式，处理完之后利用Sqoop导出到Mysql中，最终利用一个JavaWeb的程序进行展现。
使用技术：
数据平台：Hadoop
数据处理分析：Hive
后端服务：SpringBoot + MyBatis
数据可视化：Vue+Echarts
数据迁移：Sqoop
日志采集：Flume
Hadoop 为用户提供了一个分布式基础架构，核心一个是HDFS分布式文件存储平台，一个是MapReduce。
HDFS文件系统原理

在这里插入图片描述

Namenode 记录原信息的路径信息
Datanodes 存数据的

MapReduce对数据进行处理：切片，以键值对的方式来存储

在这里插入图片描述

分割
建立新键值对
合并相同的值为一个列表

在这里插入图片描述

Spark 实时计算引擎
Flume 数据采集
Sqoop 数据传输与MySql

课程主要精力放在项目流程搭建，工具的使用，业务逻辑分析上

项目部署

采用伪分布式的形式，一台机器模拟多台机器，

部署完成

在这里插入图片描述

L1 项目概述与Hadoop部署

1.技术栈：HadoopHiveSqoopFlumeAzkaban Flume采集Nginx web服务器上的日志，采集完成后存储到Hadoop的平台，最终存储到HDFS上，处理和分析采用Hive的方式，处理完之后利用Sqoop导出到Mysql中，最终利用一个Java…...

编程日记 2023/9/15 20:19:48

关键词文章生成器-标题文章生成器

那就是如何在根据标题生成文章和根据关键词生成文章之间找到平衡之道。在这个信息时代，内容创作已经成为了一项重要的工作，无论是博客作者、社交媒体达人还是企业宣传，都需要不断地输出优质的内容。但是，我们常常陷入一个两难的困…...

编程日记 2023/9/15 20:17:46

深入了解MySQL中的JSON_ARRAYAGG和JSON_OBJECT函数

在MySQL数据库中，JSON格式的数据处理已经变得越来越常见。JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，它可以用来存储和表示结构化的数据。MySQL提供了一些功能强大的JSON函数，其中两个关键的函数是…...

编程日记 2023/9/15 20:16:45

Ubuntu22.04开启后屏幕黄屏

1. 故障现象系统：Ubuntu22.04 现象：电脑从开机到进入桌面一直屏幕黄屏 2. 故障分析可能为屏幕色彩调节出现故障 3. 解决方案系统设置——》色彩——》删除原来的配置（remove profile）——》添加配置Colorspace:Compatibl…...

编程日记 2023/9/15 20:15:44

华为云云耀云服务器L实例评测 | 搭建docker环境

目录 🍒docker的概念 🍒Docker 的优点 🫐1、快速，一致地交付您的应用程序 🫐2、响应式部署和扩展 🫐3、在同一硬件上运行更多工作负载 🍒云耀云服务器L实例 🫐产品优势 &#x1f95d…...

编程日记 2023/9/15 20:14:42

exesql=“UPDATE test set date=‘%s‘“ % date 是啥意思

这段代码是 Python 中的字符串格式化语法。让我们逐步解释它的含义： exesql "UPDATE test set date%s": 这是一个字符串赋值语句，将一个 SQL 更新语句赋值给 exesql 变量。SQL 更新语句是用于更新数据库表中的数据的语句。这个更新语句的目标…...

编程日记 2023/9/15 20:11:40

请体验一下falcon 180b 大语言模型的感觉

引言由Technology Innovation Institute(T四训练的开源大模型Falcon 180B登陆Hugging Face!Falcon180B为开源大模型树立了全新的标杆。作为当前最大的开源大模型，有l80B参数并且是在在3.5万亿token的TII RefinedWeb数据集上进行训练，这也是目前…...

编程日记 2023/9/15 20:06:34

今晚8点，iPhone15开启预售

北京时间9月15日晚8点，备受全球果粉期待的苹果iPhone15系列手机正式开启预售。此次预售在苹果官网Apple Store在线商店、天猫Apple Store官方旗舰店以及Apple Store官方在线商店微信小程序同步进行。今年苹果公司将Apple Store在线商店、天猫Apple Store官方旗舰店…...

编程日记 2023/9/15 20:03:29

Meetup 回顾｜Data Infra 研究社第十五期（含资料发布）

本文整理于上周六（9月09日）Data Infra 第 15 期的活动内容。本次活动由 Databend 研发工程师-韩山杰为大家带来了一场主题为《Databend 数据集成方案》的分享，让我们一起回顾一下吧~ 以下是本次活动的相关文字、视频及资料： 通过…...

编程日记 2023/9/15 20:02:28

I2S/PCM知识点记录

目录 1.常见的音频采样率有两类，一类是48K domain，另一类是44.1KHz domain 2.常见采样深度【即单声道和单slot位宽】8/12/16/24/32 bit 3.帧结构 4.I2S/PCM允许实际有效采样位宽比传输的位宽小 5.ddr存储对齐 6.sclk和mclk以及adifclk的产…...

编程日记 2023/9/15 20:00:27

微信小程序——使用 Vant 组件实现 Popup 弹出层（各位置弹出详细代码分享）

✅作者简介：2022年博客新星第八。热爱国学的Java后端开发者，修心和技术同步精进。 🍎个人主页：Java Fans的博客 🍊个人信条：不迁怒，不贰过。小知识，大智慧。 💞当前专栏…...

编程日记 2023/9/15 19:59:26

linux查看python的py文件的命令

在 Linux 中，要查看 Python 的 .py 文件内容，可以使用以下几种命令： 使用 cat 命令： cat /path/to/your_python_file.py cat 命令用于显示文件内容，将会在终端输出整个 .py 文件的内容。使用 less 命令：…...

编程日记 2023/9/15 19:56:24

开源库源码分析：Okhttp源码分析(一)

开源库源码分析：OkHttp源码分析导言接下来就要开始分析一些常用开源库的源码了，作为最常用的网络请求库，OkHttp以其强大的功能深受Android开发者的喜爱（比如说我），还有对该库进行二次封装而成的热门库&a…...

编程日记 2023/9/15 19:55:23

无涯教程-JavaScript - LOOKUP函数

描述需要查看单个行或一列并从第二行或第二列的同一位置查找值时,请使用LOOKUP函数。使用"查找"功能搜索一行或一列。使用VLOOKUP函数可搜索一行或一列,或搜索多行和多列(如表)。它是LOOKUP的改进版本。有两种使用LOOKUP的方法- 矢量形式 − Use this form of…...

编程日记 2023/9/15 19:49:16

这所院校太好考了！地处魔都！不要错过！

一、学校及专业介绍上海电力大学（Shanghai University of Electric Power），位于上海市，是中央与上海市共建、以上海市管理为主的全日制普通高等院校，是教育部首批“卓越工程师教育培养计划”试点院校、上海高水平地方…...

编程日记 2023/9/15 19:48:16

Python - PyQt6、QDesigner、pyuic5-tool 安装使用

Python 开发可视化界面可以使用原生的 tkinter，但是原生框架使用起来颇为不方便，所以最流行的还是QT UI框架，QT是使用C语言开发，Python 想使用需要对其进行封装，所以就出现了PyQt框架，这个框架使用极其方便…...

编程日记 2023/9/15 19:47:15

C语言——指针进阶（三）

目录一.前言摘要二.排序函数qsort的模拟实现三.指针和数组笔试题解析一.前言摘要讲述关于strlen和sizeof对于各种数组与指针的计算规则与用法。另外还有qsort函数的模拟实现（可以排序任意类型变量） 二.排序函数qsort的模拟实现目标：…...

编程日记 2023/9/15 19:46:14

三勾商城（java+vue3）微信小程序商城+SAAS+前后端源码

项目介绍本系统功能包括： 前台展示后台管理SAAS管理端，包括最基本的用户登录注册，下单， 购物车，购买，结算，订单查询，收货地址，后台商品管理，订单管理&…...

编程日记 2023/9/15 19:45:13

【洁洁送书第七期】现在学 Java 找工作还有优势吗

java 现在学 Java 找工作还有优势吗？活力四射的 JavaTIOBE 编程语言排行榜从零开始学会 JavaJava 语言运行过程基础知识进阶知识高级知识talk is cheap, show me the code结语文末赠书现在学 Java 找工作还有优势吗？ 在某乎上可以看到大家对此问题的…...

编程日记 2023/9/15 19:42:11

npm发布自定义vue组件库

npm发布自定义vue组件库创建项目 vue create test-ui自定义组件创建自定义组件，组件名称根据你的需求来，最好一个组件一个文件夹，下图是我的示例。 src/components 组件和你写页面一样，所谓组件就是方便实用，不用…...

编程日记 2023/9/15 19:41:10

从零到上线：用Vue3+AntV G2快速搭建企业级数据大屏

从零到上线：用Vue3AntV G2快速搭建企业级数据大屏在数字化转型浪潮中，数据可视化已成为企业决策的重要支撑。想象这样一个场景：会议室里，高管们围坐在大屏前，实时业务数据通过动态图表清晰呈现，关键指标一…...

编程新知 2026/3/27 16:43:31

WebSocket代理避坑指南：Nginx中proxy_set_header的3个关键配置项

WebSocket代理实战：Nginx中proxy_set_header的3个黄金法则当在线聊天室的用户突然集体掉线，或是实时协作文档频繁失去同步时，问题往往藏在那些容易被忽视的HTTP头信息里。WebSocket作为现代实时应用的血管，其代理配置的精细程度直…...

编程新知 2026/3/27 15:47:09

基于智能体（Agent）的自动化图像工作流：Wan2.2-I2V-A14B与任务编排

基于智能体（Agent）的自动化图像工作流：Wan2.2-I2V-A14B与任务编排 1. 引言：当图像生成遇上智能体想象一下这样的场景：你需要为电商平台制作一组节日主题的广告图，包含特定风格的背景、商品展示和人物互动…...

编程新知 2026/3/27 15:14:54

「webMAN-MOD」技术探索：构建PS3主机的多功能扩展生态

「webMAN-MOD」技术探索：构建PS3主机的多功能扩展生态【免费下载链接】webMAN-MOD Extended services for PS3 console (web server, ftp server, netiso, ntfs, ps3mapi, etc.) 项目地址: https://gitcode.com/gh_mirrors/we/webMAN-MOD 一、基础认知&…...

编程新知 2026/3/27 15:00:49

Qwen3.5-4B-Claude-Opus快速上手：Web页面直接调用推理蒸馏模型

Qwen3.5-4B-Claude-Opus快速上手：Web页面直接调用推理蒸馏模型 1. 模型概述 Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-GGUF 是一个基于 Qwen3.5-4B 的推理蒸馏模型，重点强化了结构化分析、分步骤回答、代码与逻辑类问题的处理能力。该版本以 G…...

编程新知 2026/3/27 13:21:06

MacBook Pro本地部署OpenClaw：百川2-13B量化模型7×24小时运行方案

MacBook Pro本地部署OpenClaw：百川2-13B量化模型724小时运行方案 1. 为什么选择MacBook Pro部署OpenClaw？ 去年冬天，当我第一次尝试在MacBook Pro上部署量化版百川2-13B模型时，身边的朋友都觉得我疯了。"M1芯片能跑得动13B…...

编程新知 2026/3/27 10:59:51

Windows HEIC缩略图终极指南：3分钟让iPhone照片在Windows完美预览

Windows HEIC缩略图终极指南：3分钟让iPhone照片在Windows完美预览【免费下载链接】windows-heic-thumbnails Enable Windows Explorer to display thumbnails for HEIC files 项目地址: https://gitcode.com/gh_mirrors/wi/windows-heic-thumbnails 你是不是…...

编程新知 2026/3/27 10:41:48