当前位置： 首页 > news >正文

Spark大数据处理讲课笔记2.4 IDEA开发词频统计项目

news 2026/2/9 2:22:06

文章目录

  • 零、本讲学习目标
  • 一、词频统计准备工作
    • （一）启动集群的HDFS与Spark
    • （二）在HDFS上准备单词文件
  • 二、本地模式执行Spark程序
    • （一）创建Maven项目
    • （二）添加Spark相关依赖，打包插件
    • （三）编写代码，实现功能
    • （四）运行程序，查看结果
  • 三、集群模式执行Spark程序
    • （一）添加打包插件
    • （二）修改代码，打包程序
    • （三）执行提交命令

零、本讲学习目标

  1. 掌握本地模式执行Spark程序
  2. 掌握集群模式执行Spark程序

一、词频统计准备工作

  • 单词计数是学习分布式计算的入门程序，有很多种实现方式，例如MapReduce；使用Spark提供的RDD算子可以更加轻松地实现单词计数。
  • 在IntelliJ IDEA中新建Maven管理的Spark项目，并在该项目中使用Scala语言编写Spark的WordCount程序，最后将项目打包提交到Spark集群（Standalone模式）中运行。

（一）启动集群的HDFS与Spark

  • 启动HDFS服务
    在这里插入图片描述
  • 启动Spark集群
    在这里插入图片描述

（二）在HDFS上准备单词文件

  • 在本地创建单词文件 - words.txt
    在这里插入图片描述

  • HDFS上的单词文件 - words.txt
    在这里插入图片描述

二、本地模式执行Spark程序

（一）创建Maven项目

（二）添加Spark相关依赖，打包插件

（三）编写代码，实现功能

（四）运行程序，查看结果

三、集群模式执行Spark程序

（一）添加打包插件

（二）修改代码，打包程序

（三）执行提交命令

相关文章：

Spark大数据处理讲课笔记2.4 IDEA开发词频统计项目

文章目录零、本讲学习目标一、词频统计准备工作（一）启动集群的HDFS与Spark（二）在HDFS上准备单词文件二、本地模式执行Spark程序（一）创建Maven项目（二）添加Spark相关依赖，…...

编程日记 2023/5/17 2:35:02

【ChatGPT 】国内无需注册 openai 即可访问 ChatGPT：ChatGPT Sidebar 浏览器扩展程序的安装与使用

一、前言 问题：国内注册 openai 账号麻烦，新必应有部分人也无法登录成功，存在域名单点登录失败等问题，所以无法真正使用 ChatGPT 解决：大部分人仅需使用 ChatGPT 的搜索功能，无需真正对话，需要…...

编程日记 2023/5/12 12:52:49

使用fetch()异步请求API数据实现汇率转换器

任务8 https://segmentfault.com/a/1190000038998601 https://chinese.freecodecamp.org/news/how-to-master-async-await-with-this-real-world-example/ 跟随上面的指示，理解异步函数的编写，并且实现这个汇率转换器。 第一步：在工作区初始…...

编程日记 2023/5/15 22:41:47

GPT-4“王炸”，10秒钟开发一套Web + APP 系统

10秒钟做出一个网站 一则有关GPT4发布会的视频在网上流传，这则两分钟的视频演示的内容是： 1. 在草稿本上用纸笔画出一个非常粗糙的草图； 2. 拍照告诉 GPT 我们要做一个网站，效果正如图所示，让其生成网站代码&#xff1…...

编程日记 2023/5/5 18:57:51

Disjoint 集合数据结构或 Union-Find 算法简介

联合查找算法是一种对此类数据结构执行两个有用操作的算法： 查找：确定特定元素在哪个子集中。这可用于确定两个元素是否在同一子集中。联合：将两个子集连接成一个子集。这里首先我们必须检查这两个子集是否属于同一个集合。如果否&#xff0c…...

编程日记 2023/5/6 12:35:07

uniapp中nvue与vue的区别？

文章目录简介nvue 和 vue 相互通讯方式：nvue注意事项：简介 uni-app是逻辑渲染分离的，渲染层在app端提供了两套排版引擎， 小程序方式的webview渲染和weex方式的原生渲染，两种渲染引入可以自己根据需要选。 vue文件走的…...

编程日记 2023/5/25 7:44:09

带头双向循环链表的实现

1.结构体的创建以及类型重定义 typedef int LTDataType; typedef struct ListNode {LTDataType data;struct ListNode* prev;struct ListNode* next; }LTNode;2.链表的初始化 这个函数用于创建节点，后面还会用到。 LTNode* BuyListNode(LTDataType x) {LTNode* n…...

编程日记 2023/5/16 7:15:51

大屏使用dv-digital-flop定时刷新显示总人数

本文在基础上进行改进，后端使用若依后端IofTV-Screen: 🔥一个基于 vue、datav、Echart 框架的物联网可视化（大屏展示）模板，提供数据动态刷新渲染、屏幕适应、数据滚动配置，内部图表自由替换、Mixins注入等功…...

编程日记 2023/5/24 3:54:17

Java面向对象部分 个人学习记录

注:此博客是个人学习记录，会有错的地方，面向对象部分我可能会画很多图来加深我的理解 不引出了，直接开始 class Dog{String name;int age;String type;public Dog(String name,int age,String type){this.namename;this.ageage;this.typetyp…...

编程日记 2023/5/14 9:58:16

MySQL数据库——对Linux MySQL软件包的一些说明

Linux 操作系统的发行版很多，不同发行版下的 MySQL 版本也是不同的。MySQL 主要支持的 Linux 版本有 Red Hat Enterprise Linux 和 SUSE Linux Enterprise Server。这里主要介绍不同 Linux 发行版下 MySQL 支持的版本。 Linux 操作系统的 MySQL 软件包一般分为以下…...

编程日记 2023/5/16 7:17:43

【JavaEE进阶】——第二节.Spring核心和设计思想

文章目录 前言 一、Spring是什么？ 二、什么是容器？ 三、什么是IoC? 3.1 初始loC 3.2 举例解释loC 3.3 Spring IoC思想的体现 四、什么是DI？ 4.1DI的概念 4.2 Ioc和DI的区别 总结 前言 今天我们将进入到有关spring的认识当中&…...

编程日记 2023/5/24 3:55:51

twitter开源算法(1)For You推荐系统架构

1 Twitter’s Recommendation Algorithm 我们的推荐系统由许多互相关联的服务(services)和工作（jobs）组成,本节这要是聚焦home timeline的for you feed流。 the-algorithm开源地址：https://github.com/twitter/the-algorithm 本篇博客来源&…...

编程日记 2023/5/30 13:08:49

A General Framework for Uncertainty Estimation in Deep Learning源码阅读（二）

接上文 ResNet定义： 代码使用 def ResNet18ADF(noise_variance1e-3, min_variance1e-3):return ResNet(BasicBlock, [2,2,2,2], num_classes10, noise_variance1e-3, min_variance1e-3, initialize_msraFalse)定义模型，其中ResNet定义为： …...

编程日记 2023/5/12 12:58:44

串行通信协议---HART协议

实际应用中，HART协议是仅次于Modbus协议的最接近统一现场总线的标准，主要是在4~20mA电流信号上面叠加数字信号，物理层采用Bell 202标准的FSK技术成功实现模拟信号和数字信号双向同时通信而互不干扰。HART协议规定了传输的物理形式、消息结构、…...

编程日记 2023/5/14 9:37:04

【独家】华为OD机试 - 寻找密码（C 语言解题）

最近更新的博客 华为od 2023 | 什么是华为od，od 薪资待遇，od机试题清单华为OD机试真题大全，用 Python 解华为机试题 | 机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为od机试，独家整理 已参加机试人员的实战技巧本期题目：寻找密码 题目 小王在进行游…...

编程日记 2023/5/12 12:59:30

FPGA有哪些优质的带源码的IP开源网站?

这是某乎上的一个问题，我觉得还不错，今天就系统性的总结一下1、fpga4funhttps://www.fpga4fun.com/你能在这个网站上找到什么？您可以找到信息页面，以及使用 FPGA 板构建的 FPGA 项目。注重点：项目。FPGA 项目使用一种称…...

编程日记 2023/5/10 23:26:43

基于模型预测控制(MPC)的微电网调度优化的研究（Matlab代码实现）

💥💥💞💞欢迎来到本博客❤️❤️💥💥 🏆博主优势：🌞🌞🌞博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。 ⛳️座右铭&a…...

编程日记 2023/5/24 3:59:04

Postman接口测试之Mock快速入门

一、Mock简介 1.Mock定义 Mock是一种比较特殊的测试技巧，可以在没有依赖项的情况下进行接口或单元测试。通常情况下，Mock与其他方法的区别是，用于模拟代码依赖对象，并允许设置对应的期望值。简单一点来讲，就是Mock创建…...

编程日记 2023/5/17 2:35:56

分享一个国内可用的免费ChatGPT网站

背景 ChatGPT作为一种基于人工智能技术的自然语言处理工具，近期的热度直接沸腾🌋。 作为一个程序员，我也忍不住做了一个基于ChatGPT的网站，免费！免登陆！！国内可直接对话ChatGPT，也…...

编程日记 2023/5/5 5:37:05

15. 三数之和(Java)

给你一个整数数组 nums ，判断是否存在三元组 [nums[i], nums[j], nums[k]] 满足 i ! j、i ! k 且 j ! k ，同时还满足 nums[i] nums[j] nums[k] 0 。请 你返回所有和为 0 且不重复的三元组。 注意：答案中不可以包含重复的三元组。 示例 …...

编程日记 2023/5/15 22:46:04

Chapter03-Authentication vulnerabilities

文章目录 1. 身份验证简介1.1 What is authentication1.2 difference between authentication and authorization1.3 身份验证机制失效的原因1.4 身份验证机制失效的影响 2. 基于登录功能的漏洞2.1 密码爆破2.2 用户名枚举2.3 有缺陷的暴力破解防护2.3.1 如果用户登录尝试失败次…...

编程新知 2026/2/7 4:57:53

centos 7 部署awstats 网站访问检测

一、基础环境准备（两种安装方式都要做） bash # 安装必要依赖 yum install -y httpd perl mod_perl perl-Time-HiRes perl-DateTime systemctl enable httpd # 设置 Apache 开机自启 systemctl start httpd # 启动 Apache二、安装 AWStats&#xff0…...

编程新知 2026/1/23 8:33:56

STM32F4基本定时器使用和原理详解

STM32F4基本定时器使用和原理详解 前言如何确定定时器挂载在哪条时钟线上配置及使用方法参数配置PrescalerCounter ModeCounter Periodauto-reload preloadTrigger Event Selection 中断配置生成的代码及使用方法初始化代码基本定时器触发DCA或者ADC的代码讲解中断代码定时启动…...

编程新知 2026/1/26 21:56:38

将对透视变换后的图像使用Otsu进行阈值化，来分离黑色和白色像素。这句话中的Otsu是什么意思？

Otsu 是一种自动阈值化方法，用于将图像分割为前景和背景。它通过最小化图像的类内方差或等价地最大化类间方差来选择最佳阈值。这种方法特别适用于图像的二值化处理，能够自动确定一个阈值，将图像中的像素分为黑色和白色两类。 Otsu 方法的原…...

编程新知 2026/1/9 19:36:58

P3 QT项目----记事本（3.8）

3.8 记事本项目总结 项目源码 1.main.cpp #include "widget.h" #include <QApplication> int main(int argc, char *argv[]) {QApplication a(argc, argv);Widget w;w.show();return a.exec(); } 2.widget.cpp #include "widget.h" #include &q…...

编程新知 2026/2/1 6:56:36

css的定位（position）详解：相对定位 绝对定位 固定定位

在 CSS 中&#xff0c;元素的定位通过 position 属性控制&#xff0c;共有 5 种定位模式&#xff1a;static&#xff08;静态定位&#xff09;、relative&#xff08;相对定位&#xff09;、absolute&#xff08;绝对定位&#xff09;、fixed&#xff08;固定定位&#xff09;和…...

编程新知 2026/2/6 6:35:29

2025季度云服务器排行榜

在全球云服务器市场&#xff0c;各厂商的排名和地位并非一成不变&#xff0c;而是由其独特的优势、战略布局和市场适应性共同决定的。以下是根据2025年市场趋势&#xff0c;对主要云服务器厂商在排行榜中占据重要位置的原因和优势进行深度分析&#xff1a; 一、全球“三巨头”…...

编程新知 2026/1/23 3:36:07

论文笔记——相干体技术在裂缝预测中的应用研究

目录 相关地震知识补充地震数据的认识地震几何属性 相干体算法定义基本原理第一代相干体技术&#xff1a;基于互相关的相干体技术&#xff08;Correlation&#xff09;第二代相干体技术&#xff1a;基于相似的相干体技术&#xff08;Semblance&#xff09;基于多道相似的相干体…...

编程新知 2026/2/7 1:51:12

uniapp 字符包含的相关方法

在uniapp中&#xff0c;如果你想检查一个字符串是否包含另一个子字符串&#xff0c;你可以使用JavaScript中的includes()方法或者indexOf()方法。这两种方法都可以达到目的&#xff0c;但它们在处理方式和返回值上有所不同。 使用includes()方法 includes()方法用于判断一个字…...

编程新知 2025/9/28 19:00:18

wpf在image控件上快速显示内存图像

wpf在image控件上快速显示内存图像https://www.cnblogs.com/haodafeng/p/10431387.html 如果你在寻找能够快速在image控件刷新大图像&#xff08;比如分辨率3000*3000的图像&#xff09;的办法&#xff0c;尤其是想把内存中的裸数据&#xff08;只有图像的数据&#xff0c;不包…...

编程新知 2026/1/31 9:25:11