当前位置: 首页 > news >正文

Seal^_^【送书活动第3期】——《Hadoop大数据分析技术》

Seal^_^【送书活动第3期】——《Hadoop大数据分析技术》

  • 一、参与方式
  • 二、作者荐语
  • 三、图书简介
  • 四、本期推荐图书
    • 4.1 前 言
    • 4.2 本书内容
    • 4.3 本书目的
    • 4.4 本书适合的读者
    • 4.5 配套源码、PPT课件等资源下载
  • 五、目 录
  • 六、🛒 链接直达

在这里插入图片描述

Hadoop框架入门书,可当教材。配套PPT课件、源码,可做教材。书中包括两个大数据分析综合案例,可用于专科本科毕业论文。

一、参与方式

1、关注博主的账号。
2、点赞、收藏、评论博主的文章。
3、在文章下留下评论,每位参与者最多可以评论三次。
4、加入粉丝群,通过小程序自动抽奖。

📚 本次抽奖将 送出1至3本 书籍。

🕚 活动截止时间为 2024年5月12日晚上8点整


注意: 活动结束后,请留意查看您的私信消息。

加入粉丝群,通过小程序自动抽奖。

在这里插入图片描述

二、作者荐语

迟殿委,计算机软件与理论专业硕士,毕业于南昌大学,系统架构设计师。有多年企业软件研发经验和丰富的JavaEE培训经验,熟练掌握JavaEE全栈技术框架,对Java核心编程技术有深刻理解。主要擅长JavaEE系统架构设计、大数据分析与挖掘。

本书系统讲解Hadoop生态圈各组件的核心知识、操作方法和分析技术,并通过两个综合实战项目——影评大数据分析、旅游酒店评价大数据分析,来贯穿Hadoop大数据分析的完整流程。

三、图书简介

伴随Hadoop的成长,Hadoop不再是一个简单的数据分布式存储平台和工具,已经成长为一个完整的生态圈。本书采用Hadoop 3.2.2版本,系统讲解Hadoop生态系统主流的大数据分析技术。本书配套示例源码、PPT课件、教学大纲与编程环境。

本书共分11章。内容包括Hadoop概述与大数据环境准备、Hadoop伪分布式集群搭建、HDFS分布式存储实战、MapReduce实战、ZooKeeper与高可用集群实战、Hive数据仓库实战、HBase数据库实战、Flume数据采集实战、Kafka实战、影评大数据分析项目实战、旅游酒店评价大数据分析项目实战。

本书可作为Hadoop大数据技术初学者的入门书,也可作为Hadoop大数据分析工程师的指导手册,还可作为高等院校或者高职高专大数据专业的教材或教学参考书。

四、本期推荐图书

在这里插入图片描述

4.1 前 言

国家提出要加快 5G 网络和数据中心等新型基础设施建设(简称新基建)的进度。其中,信息化新型基础设施包含云计算、大数据、人工智能、区块链、5G 等内容。大数据是指具有海量(volume)、多模态(variety)、变化速度快(velocity)、蕴含价值高(value)和真实性(veracity)“5V”特征的数据,使得传统的数据存储、管理、分析技术已经无法满足大数据的处理要求。大数据给传统的数据处理和数据分析带来巨大的挑战,已引起学术界和工业界的高度关注。Hadoop正是在这种背景下产生的一个大数据开源平台。许多大型互联网公司,如谷歌、阿里巴巴、百度、京东等互联网公司都急需掌握Hadoop大数据技术的人才,而目前人才市场上大数据技术相关人才由于种种原因存在供不应求的状况,本书在这个背景下创作而成。

4.2 本书内容

本书是一本关于Hadoop 3.2.2大数据平台搭建和数据分析、生态体系主要组件的应用和开发方面的实战书籍,涉及的知识面比较广,涵盖了当前整个Hadoop生态系统主流的大数据开发技术。本书从实践操作与开发讲起,在基本操作已经掌握以后,再回过头来讲解理论知识。所以,本书是先实践再理论,方便读者快速掌握Hadoop大数据分析技术。

全书共分11章,第1章讲解Hadoop框架简介及新版本特性,并详细介绍大数据环境的准备工作,包括Linux操作系统的安装、SSH工具使用和配置等;第2章讲解Hadoop伪分布式的安装和开发体验,使读者熟悉Hadoop大数据开发两大核心组件,即HDFS和MapReduce;第39章讲解Hadoop生态系统各框架HDFS、MapReduce、输入/输出、Hadoop集群配置、ZooKeeper、HBase、Hive、Flume数据采集系统、Kafka等,并通过实际案例加深对各个框架的理解与应用。第1011章分别通过影评大数据分析项目实战和旅游酒店评价大数据分析项目实战,使读者了解完整的大数据项目开发过程,并巩固所学的知识,使之掌握的内容更加系统、全面。

4.3 本书目的

通过本书的学习,读者可以对照书中的步骤成功搭建属于自己的Hadoop大数据集群,并掌握基于Hadoop的大数据分析与开发技术,最终能够独立完成Hadoop大数据分析与开发项目。

4.4 本书适合的读者

本书可作为Hadoop框架初学者的入门书以及大数据分析人员的参考手册,也可作为高校开设大数据平台搭建或大数据开发课程的参考教材。学习本书要求读者有一定的Java编程基础并了解Linux系统的基础知识。本书每一个章节的实践操作内容都有详细清晰的步骤讲解,即使读者没有任何大数据基础,也可以对照书中的步骤成功搭建属于自己的大数据集群,本书是一本真正提高读者动手能力、以实操为主的入门书籍。通过本书的学习,结合每章配套的源代码,读者能够迅速理解与掌握Hadoop大数据相关技术框架,并可以熟练使用Hadoop集成环境进行大数据项目的开发。

4.5 配套源码、PPT课件等资源下载

本书配套源码、PPT课件、教学大纲与编程环境,需要用微信扫描下边二维码获取,可按扫描后的页面提示填写你的邮箱,把下载链接转发到邮箱中下载。

五、目 录

1章  Hadoop概述与大数据环境准备 11.1  大数据定义 21.2  Hadoop生态介绍 21.2.1  Hadoop简介 21.2.2  Hadoop版本简介 41.2.3  Hadoop生态系统和组件介绍 61.3  Hadoop 3新特性 71.4  虚拟机安装 91.5  安装Linux操作系统 101.6  SSH工具与使用 151.7  Linux统一设置 161.8  小结 182章  Hadoop伪分布式集群搭建 192.1  安装独立运行的Hadoop 192.2  Hadoop伪分布式环境准备 222.3  Hadoop伪分布式安装 262.4  HDFS操作命令 312.5  Java项目访问HDFS 332.5.1  创建Maven项目 342.5.2  HDFS操作示例 362.6  winutils 382.7  快速MapReduce程序示例 392.8  小结 423章  HDFS分布式存储实战 433.1  HDFS的体系结构 433.2  NameNode的工作 443.2.1  查看镜像文件 453.2.2  查看日志文件 463.2.3  日志文件和镜像文件的操作过程 473.3  SecondaryNameNode 493.4  DataNode 503.5  HDFS的命令 503.6  远程过程调用 513.7  小结 534章  MapReduce实战 554.1  MapReduce的运算过程 554.2  WordCount示例 574.3  自定义Writable 604.4  Partitioner分区编程 644.5  自定义排序 664.6  Combiner编程 674.7  默认Mapper和默认Reducer 684.8  倒排索引 694.9  Shuffle 734.10  小结 775章  ZooKeeper与高可用集群实战 795.1  ZooKeeper简介 795.1.1  Zxid 805.1.2  版本号 815.2  单一节点安装ZooKeeper 825.3  基本客户端命令 835.4  Java代码操作ZooKeeper 865.5  ZooKeeper集群安装 915.6  znode节点类型 925.7  观察节点 935.8  配置Hadoop高可用集群 935.9  用Java代码操作集群 1025.10  小结 1046章  Hive数据仓库实战 1056.1  Hive3的安装配置 1076.2  Hive的命令 1106.3  Hive内部表 1146.4  Hive外部表 1166.5  Hive表分区 1176.5.1  分区技术细节 1176.5.2  分区示例 1196.6  查询示例汇总 1216.7  Hive函数 1226.8  Hive自定义函数 1286.9  Hive视图 1326.10  hiveserver2 1326.11  使用JDBC连接hiveserver2 1346.12  小结 1357章  HBase数据库实战 1367.1  HBase的特点 1367.2  HBase安装 1397.2.1  HBase的单节点安装 1407.2.2  HBase的伪分布式安装 1427.2.3  Java客户端代码 1447.3  HBase集群安装 1507.4  HBase Shell操作 1537.4.1  数据模型定义 1547.4.2  数据基本操作 1567.5  协处理器 1607.6  Phoenix 1627.7  小结 1688章  Flume数据采集实战 1698.1  Flume的安装与配置 1708.2  快速示例 1718.3  在ZooKeeper中保存Flume的配置文件 1728.4  Flume的更多Source 1768.4.1  Avro Source 1768.4.2  Thrift Source和Thrift Sink 1808.4.3  Exec Source 1838.4.4  Spool Source 1848.4.5  HDFS Sinks 1848.5  小结 1859章  Kafka实战 1869.1  Kafka的特点 1879.2  Kafka术语 1889.3  Kafka安装与部署 1899.3.1  单机部署 1899.3.2  集群部署 1959.4  小结 19810章  影评大数据分析项目实战 19910.1  项目介绍 19910.2  项目需求分析 19910.3  项目详细实现 20310.3.1  搭建项目环境 20310.3.2  编写爬虫类 20610.3.3  编写分词类 20710.3.4  第一个job的Map阶段实现 21010.3.5  第一个job的Reducer阶段实现 21010.3.6  第二个job的Map阶段实现 21110.3.7  第二个job的自定义排序类阶段的实现 21110.3.8  第二个job的自定义分区阶段实现 21210.3.9  第二个job的Reduce阶段实现 21210.3.10  Run程序主类实现 21310.3.11  编写词云类 21410.3.12  效果测试 21511章  旅游酒店评价大数据分析项目实战 21611.1  项目介绍 21611.2  项目需求分析 21711.2.1  数据集需求 21711.2.2  功能需求 21711.3  项目详细实现 21811.3.1  数据集上传到HDFS 21911.3.2  Hadoop数据清洗 22111.3.3  构建Hive数据仓库表 22511.3.4  Sqoop数据导入与导出 23011.3.5  数据可视化开发 232

六、🛒 链接直达

在这里插入图片描述

有兴趣的朋友可以前往查看。 JD搜索关键词:

✨ Hadoop大数据分析技术,Hadoop ✨

🛒 链接直达: https://item.jd.com/13536921.html)

相关文章:

Seal^_^【送书活动第3期】——《Hadoop大数据分析技术》

Seal^_^【送书活动第3期】——《Hadoop大数据分析技术》 一、参与方式二、作者荐语三、图书简介四、本期推荐图书4.1 前 言4.2 本书内容4.3 本书目的4.4 本书适合的读者4.5 配套源码、PPT课件等资源下载 五、目 录六、🛒 链接直达 Hadoop框架入门书,可当…...

win10下,svn上传.so文件失败

问题:win10下使用TortoiseSVN,svn上传.so文件失败 解决:右键,选择Settings,Global ignore pattern中删除*.so,保存即可。...

ubuntu20安装colmap

系统环境 ubuntu20 ,cuda11.8 ,也安装了anaconda。因为根据colmap的官方文档说的,如果根据apt-get安装的话,默认是非cuda版本的,而我觉得既然都安装了cuda11.8了,自然也要安装cuda版本的colmap。 安装步骤…...

kubeflow简单记录

kubeflow 13.7k star 1、Training Operator 包括PytorchJob和XGboostJob,支持部署pytorch的分布式训练 2、KFServing快捷的部署推理服务 3、Jupyter Notebook 基于Web的交互式工具 4、Katib做超参数优化 5、Pipeline 基于Argo Workflow提供机器学习流程的创建、编排…...

ARM的工作模式

ARM处理器设计有七种工作模式,这些模式允许处理器在不同的情境下以不同的权限级别执行任务,下面是这七大工作模式的概述: 用户模式(User,USR): 这是非特权模式,大多数应用程序在此…...

为家庭公网IP配置DDNS域名

文章目录 域名配置域名更新frp配置修改 在成功完成frp改造Windows笔记本实现家庭版免费内网穿透之后,某天我突然发现内网穿透失效了,一番排查之后原来是路由器对应的公网IP更换了。果然我分到的并不是固定的公网IP,而是会定期变化的。为了免受…...

QT-TCP通信

网上的资料太过于书面化,所以看起来有的让人云里雾里,看不懂C-tcpsockt和S-tcpsocket的关系 所以我稍微画了一下草图帮助大家理解两个套接字之间的关系。字迹有的飘逸勉强看看 下面是代码 服务端: MainWindow::MainWindow(QWidget *parent) …...

SparkSQL优化

SparkSQL优化 优化说明 缓存数据到内存 Spark SQL可以通过调用spark.sqlContext.cacheTable("tableName") 或者dataFrame.cache(),将表用一种柱状格式( an inmemory columnar format)缓存至内存中。然后Spark SQL在执行查询任务…...

STM32——基础篇

技术笔记! 一、初识STM32 1.1 ARM内核系列 A 系列:Application缩写。高性能应用,比如:手机、电脑、电视等。 R 系列:Real-time缩写。实时性强,汽车电子、军工、无线基带等。 M 系列:Microcont…...

【从零开始学架构 架构基础】架构设计的本质、历史背景和目的

本文是《从零开始学架构》的第一篇学习笔记,主要理解架构的设计的本质定义、历史背景以及目的。 架构设计的本质 分别从三组概念的区别来理解架构设计。 系统与子系统 什么是系统,系统泛指由一群有关联的个体组成,根据某种规则运作&#…...

Learning C# Programming with Unity 3D

作者:Alex Okita 源码地址:GitHub - badkangaroo/UnityProjects: A repo for all of the projects found in the book. 全书 686 页。...

北京车展现场体验商汤DriveAGI自动驾驶大模型展现认知驱动新境界

在2024年北京国际汽车展的舞台上,众多国产车型纷纷亮相,各自展示着独特的魅力。其中,小米SUV7以其精美的外观设计和宽敞的车内空间,吸引了无数目光,成为本届车展上当之无愧的明星。然而,车辆的魅力并不仅限…...

企业终端安全管理软件有哪些?终端安全管理软件哪个好?

终端安全的重要性大家众所周知,关系到生死存亡的东西。 各类终端安全管理软件应运而生,为企业提供全方位、多层次的终端防护。 有哪些企业终端安全管理软件? 一、主流企业终端安全管理软件 1. 域智盾 域智盾是一款专为企业打造的全面终端…...

Linux内核--设备驱动(七)媒体驱动框架整理--HDMI框架(2)

目录 一、引言 二、drm框架 ------>2.1、画布( FrameBuffer ) ------>2.2、绘图现场(CRTC) ------>2.3、输出转换器(Encoder ) ------>2.4、连接器 (Connector ) ------>2.5、显示面(Planner) 三、VOP部分详解 ------>3.1、dts ------>3.2、v…...

3.3 Gateway之自定义过滤器

1.Gateway过滤器种类 过滤器种类描述GatewayFilter路由过滤器,作用于任意指定的路由。默认不生效,要配置到路由后生效GlobalFilter全局过滤器,作用范围是所有路由。声明后自定生效 2.Gateway过滤器参数 参数描述ServerWebExchangeGateway内…...

Skywalking数据持久化与自定义链路追踪

学习本篇文章之前首先要了解一下Sky walking的基础知识 分布式链路追踪工具Skywalking详解 一,Sky walking数据持久化 Sky walking提供了es,MySQL等数据持久化方案,默认使用h2基于内存的数据库,重启之后数据即会丢失。 在实际工…...

设计模式之模板模式TemplatePattern(五)

一、模板模式介绍 模板方法模式(Template Method Pattern),又叫模板模式(Template Pattern), 在一个抽象类公开定义了执行它的方法的模板。它的子类可以更需要重写方法实现,但可以成为典型类中…...

划重点!PMP报考条件、报考步骤、考试内容、适合人群

参加PMP认证的好处,可以从几个方面来认识: 一、参加PMP认证与考试的过程,同时是一个系统学习和巩固项目管理知识的过程 二、参加PMP认证,您可以获得由PMI颁发的PMP证书 而拥有PMP认证表示你已经成为一个项目管理方面的专业人员…...

Java | Leetcode Java题解之第74题搜索二维矩阵

题目&#xff1a; 题解&#xff1a; class Solution {public boolean searchMatrix(int[][] matrix, int target) {int m matrix.length, n matrix[0].length;int low 0, high m * n - 1;while (low < high) {int mid (high - low) / 2 low;int x matrix[mid / n][m…...

C#高级编程笔记-泛型

本章的主要内容如下&#xff1a; ● 泛型概述 ● 创建泛型类 ● 泛型类的特性 ● 泛型接口 ● 泛型结构 ● 泛型方法 目录 1.1 泛型概述 1.1.1 性能 1.1.2 类型安全 1.1.3 二进制代码的重用 1.1.4 代码的扩展 1.1.5 命名…...

在软件开发中正确使用MySQL日期时间类型的深度解析

在日常软件开发场景中&#xff0c;时间信息的存储是底层且核心的需求。从金融交易的精确记账时间、用户操作的行为日志&#xff0c;到供应链系统的物流节点时间戳&#xff0c;时间数据的准确性直接决定业务逻辑的可靠性。MySQL作为主流关系型数据库&#xff0c;其日期时间类型的…...

label-studio的使用教程(导入本地路径)

文章目录 1. 准备环境2. 脚本启动2.1 Windows2.2 Linux 3. 安装label-studio机器学习后端3.1 pip安装(推荐)3.2 GitHub仓库安装 4. 后端配置4.1 yolo环境4.2 引入后端模型4.3 修改脚本4.4 启动后端 5. 标注工程5.1 创建工程5.2 配置图片路径5.3 配置工程类型标签5.4 配置模型5.…...

模型参数、模型存储精度、参数与显存

模型参数量衡量单位 M&#xff1a;百万&#xff08;Million&#xff09; B&#xff1a;十亿&#xff08;Billion&#xff09; 1 B 1000 M 1B 1000M 1B1000M 参数存储精度 模型参数是固定的&#xff0c;但是一个参数所表示多少字节不一定&#xff0c;需要看这个参数以什么…...

大型活动交通拥堵治理的视觉算法应用

大型活动下智慧交通的视觉分析应用 一、背景与挑战 大型活动&#xff08;如演唱会、马拉松赛事、高考中考等&#xff09;期间&#xff0c;城市交通面临瞬时人流车流激增、传统摄像头模糊、交通拥堵识别滞后等问题。以演唱会为例&#xff0c;暖城商圈曾因观众集中离场导致周边…...

Java如何权衡是使用无序的数组还是有序的数组

在 Java 中,选择有序数组还是无序数组取决于具体场景的性能需求与操作特点。以下是关键权衡因素及决策指南: ⚖️ 核心权衡维度 维度有序数组无序数组查询性能二分查找 O(log n) ✅线性扫描 O(n) ❌插入/删除需移位维护顺序 O(n) ❌直接操作尾部 O(1) ✅内存开销与无序数组相…...

376. Wiggle Subsequence

376. Wiggle Subsequence 代码 class Solution { public:int wiggleMaxLength(vector<int>& nums) {int n nums.size();int res 1;int prediff 0;int curdiff 0;for(int i 0;i < n-1;i){curdiff nums[i1] - nums[i];if( (prediff > 0 && curdif…...

页面渲染流程与性能优化

页面渲染流程与性能优化详解&#xff08;完整版&#xff09; 一、现代浏览器渲染流程&#xff08;详细说明&#xff09; 1. 构建DOM树 浏览器接收到HTML文档后&#xff0c;会逐步解析并构建DOM&#xff08;Document Object Model&#xff09;树。具体过程如下&#xff1a; (…...

C++ 求圆面积的程序(Program to find area of a circle)

给定半径r&#xff0c;求圆的面积。圆的面积应精确到小数点后5位。 例子&#xff1a; 输入&#xff1a;r 5 输出&#xff1a;78.53982 解释&#xff1a;由于面积 PI * r * r 3.14159265358979323846 * 5 * 5 78.53982&#xff0c;因为我们只保留小数点后 5 位数字。 输…...

JDK 17 新特性

#JDK 17 新特性 /**************** 文本块 *****************/ python/scala中早就支持&#xff0c;不稀奇 String json “”" { “name”: “Java”, “version”: 17 } “”"; /**************** Switch 语句 -> 表达式 *****************/ 挺好的&#xff…...

【JavaSE】绘图与事件入门学习笔记

-Java绘图坐标体系 坐标体系-介绍 坐标原点位于左上角&#xff0c;以像素为单位。 在Java坐标系中,第一个是x坐标,表示当前位置为水平方向&#xff0c;距离坐标原点x个像素;第二个是y坐标&#xff0c;表示当前位置为垂直方向&#xff0c;距离坐标原点y个像素。 坐标体系-像素 …...