【物联网与大数据应用】Hadoop数据处理
Hadoop是目前最成熟的大数据处理技术。Hadoop利用分而治之的思想为大数据提供了一整套解决方案，如分布式文件系统HDFS、分布式计算框架MapReduce、NoSQL数据库HBase、数据仓库工具Hive等。
Hadoop的两个核心解决了数据存储问题（HDFS分布式文件系统）和分布式计算问题（MapRe-duce）。
Hadoop的发展历史
Hadoop是由Apache的Lucence项目创始人道格·卡廷创建的，Lucence是一个应用广泛的文本搜索系统库。Hadoop起源于开源的网络搜索引擎Nutch，Nutch本身也是Lucence项目的一部分。Hadoop的发展历史如图所示。
参考资料
大数据基础架构Hadoop，终于有人讲明白了
相关文章：
【物联网与大数据应用】Hadoop数据处理
Hadoop是目前最成熟的大数据处理技术。Hadoop利用分而治之的思想为大数据提供了一整套解决方案，如分布式文件系统HDFS、分布式计算框架MapReduce、NoSQL数据库HBase、数据仓库工具Hive等。 Hadoop的两个核心解决了数据存储问题（HDFS分布式文件系统&#…...
Kotlin学习——kt里的集合List，Set，Map List集合的各种方法之Int篇
Kotlin 是一门现代但已成熟的编程语言，旨在让开发人员更幸福快乐。 它简洁、安全、可与 Java 及其他语言互操作，并提供了多种方式在多个平台间复用代码，以实现高效编程。 https://play.kotlinlang.org/byExample/01_introduction/02_Functio…...
docker buildx跨架构构建笔记(x86_64构建下构建aarch64镜像)
docker buildx跨架构构建(x86_64构建aarch64镜像) 文章目录 docker buildx跨架构构建(x86_64构建aarch64镜像)简介第一步 先交叉编译一个aarch64的HelloWorld程序。准备一个用于跨架构的Dockerfile文件使用docker buildx命令构建aarch64架构的镜像。查看镜像具体详细信息&#…...
Sass基础知识详细讲解【附带表图】
文章目录 前言使用 SassRack / Rails / Merb插件缓存选项语法选择编码 Sass CSS扩展Sass 注释输出 Sass 脚本Sass -规则和指令Sass 控制指令和表达式 Sass 混入指令Sass 功能指令命名约定Sass 输出样式:nested:expanded:compact:compressedSass 扩展缓存存储自定义导入 后言 前…...
《斯坦福数据挖掘教程·第三版》读书笔记（英文版）Chapter 3 Finding Similar Items
来源：《斯坦福数据挖掘教程第三版》对应的公开英文书和PPT It is therefore a pleasant surprise to learn of a family of techniques called locality-sensitive hashing, or LSH, that allows us to focus on pairs that are likely to be similar, without hav…...
天眼销：超有用的企业获客工具
天眼销是资深数据团队开发的一个客户资源查询平台，可以通过多重筛选：企业名称/信用代码，所在地区，行业，注册资本，年限，是否在营/有电话/邮箱等。 天眼销和某查查有什么区别？ 天*查/…...
dbeaver连接amabri-hbase
目录 尝试过程 解决之道 总结 尝试过程 注意此章节为记录试错过程，无需跟随操作，仅作试错记录。真正操作方法请看“解决之道”章节 环境ambari安装的hbase2.1.6 使用apche phoenix默认驱动配置 备注：Apache Phoenix 是一个开源的、基于…...
Mac IDEA解决Maven项目命令行报错：command not found: mvn
1. 使用idea自带的maven命令 open -e ~/.zshrc 2. 在其最下面增加 # maven export MAVEN_HOME"/Applications/IntelliJ IDEA.app/Contents/plugins/maven/lib/maven3" export PATH$MAVEN_HOME/bin:$PATH # maven end 3. 连接使之生效 source ~/.zshrc4. 修改mvn…...
线性回归 梯度下降
梯度下降算法 在开始之前，为了方便解释，首先规定几个符号所代表的意义： m m m 训练集中训练样本的数量 X X X 输入变量 Y Y Y 输出变量 ( x , y ) (x,y) (x,y) 训练样本 ( x i , y i ) (x^i,y^i) (xi,yi)第i个训练样本（i表示…...
[Linux]进程等待
文章目录 3.进程等待3.1什么是进程等待3.2为什么要进程等待3.3如何进行进程等待?1.wait2.waitpid2.1函数的讲解2.2status的理解2.3代码理解 3.4学后而思1.直接用全局变量获取子进程退出码可以吗?如下2.进程具有独立性 退出码是子进程的数据 父进程是如何拿到退出码的3.对内存…...
Project DESFT 白皮书中文版——应用于普惠金融的可信数字凭证解决方案
1. 概述 Project DESFT 是由 Solv 基金会与 zCloak Network 联合设计孵化，以跨境贸易和金融服务为场景的分布式可信数字凭证解决方案（Distributed Trusted Digital Credential Solution），项目获得新加坡金管局（Monetar…...
907. 子数组的最小值之和 --力扣 --JAVA
题目 给定一个整数数组 arr，找到 min(b) 的总和，其中 b 的范围为 arr 的每个（连续）子数组。 由于答案可能很大，因此 返回答案模 10^9 7 。 解题思路 找到以当前值为最小值所能组成的子数组；若存在两个相同…...
3D模型渲染导致电脑太卡怎么办？
在线工具推荐： 三维数字孪生场景工具 - GLTF/GLB在线编辑器 - Three.js AI自动纹理化开发 - YOLO 虚幻合成数据生成器 - 3D模型在线转换 - 3D模型预览图生成服务 1、什么是3D渲染？ 3D渲染是指通过计算机图形学技术将三维模型转化为二维图像的过程…...
构建个人代理池：使用GitHub项目proxy_pool的搭建配置及代码接口详解
手把手教你搭建代理IP池： 项目简介： 爬虫代理IP池项目,主要功能为定时采集网上发布的免费代理验证入库，定时验证入库的代理保证代理的可用性，提供API和CLI两种使用方式。同时你也可以扩展代理源以增加代理池IP的质量和数量。…...
Pytorch进阶教学——训练一个图像分类模型（GPU）
目录 1、前言 2、数据集介绍 3、获取数据 4、创建网络 5、训练模型 6、测试模型 6.1、测试整个模型准确率 6.2、测试单张图片 1、前言 编写一个可以分类蚂蚁和蜜蜂图片的模型，使用数据集对卷积神经网络进行训练。训练后的模型可以对蚂蚁或蜜蜂的图片进行…...
Docker Swarm总结+CI/CD Devops、gitlab、sonarqube以及harbor的安装集成配置(3/5）
博主介绍：Java领域优质创作者,博客之星城市赛道TOP20、专注于前端流行技术框架、Java后端技术领域、项目实战运维以及GIS地理信息领域。 🍅文末获取源码下载地址🍅 👇🏻 精彩专栏推荐订阅👇🏻…...
Linux：windows 和 Linux 之间文本格式转换
背景 在 Windows 上编辑的文件，放到 Linux 平台，有时会出现奇怪的问题，其中有一个是 ^M 引起的，例如这种错误： /bin/bash^M: bad interpreter 这个问题相信大家也碰到过，原因是 Windows 和 Linux 关于换行的…...
VBA技术资料MF88：测试Excel文件名是否有效
我给VBA的定义：VBA是个人小型自动化处理的有效工具。利用好了，可以大大提高自己的工作效率，而且可以提高数据的准确度。我的教程一共九套，分为初级、中级、高级三大部分。是对VBA的系统讲解，从简单的入门，到…...
u8g2图形库——丝滑菜单制作
目录 一、实物效果展示 二、丝滑菜单实现原理 三、代码开源 1.ui_bmp.h 2.ui.h 3.ui.c 一、实物效果展示 u8g2图形库——丝滑菜单制作 二、丝滑菜单实现原理 int ui_run(short *a,short *a_tag,uint8_t step,uint8_t slow_cnt) //UI滑动效果 {uint8_t temp;…...
Go 异常处理流程
在 Go 语言中，panic、recover 和 defer 是用于处理异常情况的关键字。它们通常一起使用来实现对程序错误的处理和恢复。 1. defer 语句 defer 用于在函数返回之前执行一段代码。被 defer 修饰的语句或函数会在包含 defer 的函数执行完毕后执行。defer 常用于资源清…...
3个妙招搞定Cursor限制：开源工具让你告别API限制烦恼
3个妙招搞定Cursor限制：开源工具让你告别API限制烦恼 【免费下载链接】cursor-free-vip [Support 0.45]（Multi Language 多语言）自动注册 Cursor Ai ，自动重置机器ID ， 免费升级使用Pro 功能: Youve reached your tria…...
OpenClaw 实用指南-节假日系统巡检全自动化（下）
前言 在上一篇文章中，我们已详细讲解了节假日系统巡检全自动化的前三个核心部分，分别是：Part1：AI节假日智能判断、Part2：目标服务器稳定连接、Part3：借助“小龙虾”工具批量部署软件，并利用部署…...
BES-XGBoost多变量时间序列预测的‘秃鹰搜索优化算法‘与交叉验证抑制过拟合问题的Mat...
基于秃鹰搜索优化算法优化XGBoost(BES-XGBoost)的多变量时间序列预测 BES-XGBoost多变量时间序列 采用交叉验证抑制过拟合问题 优化参数为迭代次数、最大深度和学习率 matlab代码，注：暂无Matlab版本要求 -- 推荐 2016B 版本及以上 注：采用 XG…...
资深大模型工程师详细讲解：RAG召回率优化三重微调实战
✅ 一、核心策略再解构：从“三层次”到“五维协同链路”原有“数据-索引-查询”三层结构非常精准，但为了更贴近企业级复杂场景，我们进一步抽象为 五维协同链路：维度关键目标是否可微调微调切入点1. 数据生成质量构建高质量正负样本…...
118. 从 RKE1（Docker）迁移到 RKE2（容器化）后，JSON 日志未能正确解析
Situation 地理位置After migrating the cluster from RKE1 to RKE2, JSON logs sent to Elasticsearch are not being split into fields correctly. 在将集群从 RKE1 迁移到 RKE2 后，发送到 Elasticsearch 的 JSON 日志没有被正确划分为字段。 Resolution 结局T…...
别再手动查日志了！用Skywalking 9.x快速定位Spring Boot微服务性能瓶颈
别再手动查日志了！用Skywalking 9.x快速定位Spring Boot微服务性能瓶颈 微服务架构下最令人头疼的场景莫过于：凌晨三点收到告警，某个核心接口响应时间从200ms飙升到5秒，而你面对几十个相互调用的服务和海量日志，完全不…...
告别驱动臃肿：Radeon Software Slimmer轻量优化实现显卡性能释放
告别驱动臃肿：Radeon Software Slimmer轻量优化实现显卡性能释放 【免费下载链接】RadeonSoftwareSlimmer Radeon Software Slimmer is a utility to trim down the bloat with Radeon Software for AMD GPUs on Microsoft Windows. 项目地址: https://gitcode.co…...
KOOK艺术馆入门必看：Streamlit缓存机制与大模型加载优化技巧
KOOK艺术馆入门必看：Streamlit缓存机制与大模型加载优化技巧 想象一下，你刚刚部署了璀璨星河艺术馆，这个界面美得像卢浮宫画廊的AI绘画工具。你兴奋地输入了第一个创意描述，点击生成按钮，然后...开始了漫长的等待。界…...
Matplotlib核心知识全解析：从基础绘图到高级定制
一、Matplotlib简介与核心概念Matplotlib是Python最经典的数据可视化库，提供类似MATLAB的绘图接口，支持生成出版级质量的图表。其核心模块pyplot通过状态机模式管理图形，基础绘图流程遵循“创建画布→绘制图形→展示/保存”的逻辑。import ma…...
Phi-4-mini-reasoning效果展示：国际奥赛风格数学题全自动分步求解演示
Phi-4-mini-reasoning效果展示：国际奥赛风格数学题全自动分步求解演示 1. 模型介绍 Phi-4-mini-reasoning是微软推出的3.8B参数轻量级开源模型，专为数学推理、逻辑推导和多步解题等强逻辑任务设计。这款模型主打"小参数、强推理、长上下文、低延迟…...