当前位置： 首页 > news >正文

Spark大数据处理讲课笔记2.4 IDEA开发词频统计项目

news 2025/10/27 0:46:51

文章目录

  • 零、本讲学习目标
  • 一、词频统计准备工作
    • （一）启动集群的HDFS与Spark
    • （二）在HDFS上准备单词文件
  • 二、本地模式执行Spark程序
    • （一）创建Maven项目
    • （二）添加Spark相关依赖，打包插件
    • （三）编写代码，实现功能
    • （四）运行程序，查看结果
  • 三、集群模式执行Spark程序
    • （一）添加打包插件
    • （二）修改代码，打包程序
    • （三）执行提交命令

零、本讲学习目标

  1. 掌握本地模式执行Spark程序
  2. 掌握集群模式执行Spark程序

一、词频统计准备工作

  • 单词计数是学习分布式计算的入门程序，有很多种实现方式，例如MapReduce；使用Spark提供的RDD算子可以更加轻松地实现单词计数。
  • 在IntelliJ IDEA中新建Maven管理的Spark项目，并在该项目中使用Scala语言编写Spark的WordCount程序，最后将项目打包提交到Spark集群（Standalone模式）中运行。

（一）启动集群的HDFS与Spark

  • 启动HDFS服务
    在这里插入图片描述
  • 启动Spark集群
    在这里插入图片描述

（二）在HDFS上准备单词文件

  • 在本地创建单词文件 - words.txt
    在这里插入图片描述

  • HDFS上的单词文件 - words.txt
    在这里插入图片描述

二、本地模式执行Spark程序

（一）创建Maven项目

（二）添加Spark相关依赖，打包插件

（三）编写代码，实现功能

（四）运行程序，查看结果

三、集群模式执行Spark程序

（一）添加打包插件

（二）修改代码，打包程序

（三）执行提交命令

相关文章：

Spark大数据处理讲课笔记2.4 IDEA开发词频统计项目

文章目录零、本讲学习目标一、词频统计准备工作（一）启动集群的HDFS与Spark（二）在HDFS上准备单词文件二、本地模式执行Spark程序（一）创建Maven项目（二）添加Spark相关依赖，…...

编程日记 2023/5/17 2:35:02

【ChatGPT 】国内无需注册 openai 即可访问 ChatGPT：ChatGPT Sidebar 浏览器扩展程序的安装与使用

一、前言 问题：国内注册 openai 账号麻烦，新必应有部分人也无法登录成功，存在域名单点登录失败等问题，所以无法真正使用 ChatGPT 解决：大部分人仅需使用 ChatGPT 的搜索功能，无需真正对话，需要…...

编程日记 2023/5/12 12:52:49

使用fetch()异步请求API数据实现汇率转换器

任务8 https://segmentfault.com/a/1190000038998601 https://chinese.freecodecamp.org/news/how-to-master-async-await-with-this-real-world-example/ 跟随上面的指示，理解异步函数的编写，并且实现这个汇率转换器。 第一步：在工作区初始…...

编程日记 2023/5/15 22:41:47

GPT-4“王炸”，10秒钟开发一套Web + APP 系统

10秒钟做出一个网站 一则有关GPT4发布会的视频在网上流传，这则两分钟的视频演示的内容是： 1. 在草稿本上用纸笔画出一个非常粗糙的草图； 2. 拍照告诉 GPT 我们要做一个网站，效果正如图所示，让其生成网站代码&#xff1…...

编程日记 2023/5/5 18:57:51

Disjoint 集合数据结构或 Union-Find 算法简介

联合查找算法是一种对此类数据结构执行两个有用操作的算法： 查找：确定特定元素在哪个子集中。这可用于确定两个元素是否在同一子集中。联合：将两个子集连接成一个子集。这里首先我们必须检查这两个子集是否属于同一个集合。如果否&#xff0c…...

编程日记 2023/5/6 12:35:07

uniapp中nvue与vue的区别？

文章目录简介nvue 和 vue 相互通讯方式：nvue注意事项：简介 uni-app是逻辑渲染分离的，渲染层在app端提供了两套排版引擎， 小程序方式的webview渲染和weex方式的原生渲染，两种渲染引入可以自己根据需要选。 vue文件走的…...

编程日记 2023/5/25 7:44:09

带头双向循环链表的实现

1.结构体的创建以及类型重定义 typedef int LTDataType; typedef struct ListNode {LTDataType data;struct ListNode* prev;struct ListNode* next; }LTNode;2.链表的初始化 这个函数用于创建节点，后面还会用到。 LTNode* BuyListNode(LTDataType x) {LTNode* n…...

编程日记 2023/5/16 7:15:51

大屏使用dv-digital-flop定时刷新显示总人数

本文在基础上进行改进，后端使用若依后端IofTV-Screen: 🔥一个基于 vue、datav、Echart 框架的物联网可视化（大屏展示）模板，提供数据动态刷新渲染、屏幕适应、数据滚动配置，内部图表自由替换、Mixins注入等功…...

编程日记 2023/5/24 3:54:17

Java面向对象部分 个人学习记录

注:此博客是个人学习记录，会有错的地方，面向对象部分我可能会画很多图来加深我的理解 不引出了，直接开始 class Dog{String name;int age;String type;public Dog(String name,int age,String type){this.namename;this.ageage;this.typetyp…...

编程日记 2023/5/14 9:58:16

MySQL数据库——对Linux MySQL软件包的一些说明

Linux 操作系统的发行版很多，不同发行版下的 MySQL 版本也是不同的。MySQL 主要支持的 Linux 版本有 Red Hat Enterprise Linux 和 SUSE Linux Enterprise Server。这里主要介绍不同 Linux 发行版下 MySQL 支持的版本。 Linux 操作系统的 MySQL 软件包一般分为以下…...

编程日记 2023/5/16 7:17:43

【JavaEE进阶】——第二节.Spring核心和设计思想

文章目录 前言 一、Spring是什么？ 二、什么是容器？ 三、什么是IoC? 3.1 初始loC 3.2 举例解释loC 3.3 Spring IoC思想的体现 四、什么是DI？ 4.1DI的概念 4.2 Ioc和DI的区别 总结 前言 今天我们将进入到有关spring的认识当中&…...

编程日记 2023/5/24 3:55:51

twitter开源算法(1)For You推荐系统架构

1 Twitter’s Recommendation Algorithm 我们的推荐系统由许多互相关联的服务(services)和工作（jobs）组成,本节这要是聚焦home timeline的for you feed流。 the-algorithm开源地址：https://github.com/twitter/the-algorithm 本篇博客来源&…...

编程日记 2023/5/30 13:08:49

A General Framework for Uncertainty Estimation in Deep Learning源码阅读（二）

接上文 ResNet定义： 代码使用 def ResNet18ADF(noise_variance1e-3, min_variance1e-3):return ResNet(BasicBlock, [2,2,2,2], num_classes10, noise_variance1e-3, min_variance1e-3, initialize_msraFalse)定义模型，其中ResNet定义为： …...

编程日记 2023/5/12 12:58:44

串行通信协议---HART协议

实际应用中，HART协议是仅次于Modbus协议的最接近统一现场总线的标准，主要是在4~20mA电流信号上面叠加数字信号，物理层采用Bell 202标准的FSK技术成功实现模拟信号和数字信号双向同时通信而互不干扰。HART协议规定了传输的物理形式、消息结构、…...

编程日记 2023/5/14 9:37:04

【独家】华为OD机试 - 寻找密码（C 语言解题）

最近更新的博客 华为od 2023 | 什么是华为od，od 薪资待遇，od机试题清单华为OD机试真题大全，用 Python 解华为机试题 | 机试宝典【华为OD机试】全流程解析+经验分享,题型分享,防作弊指南华为od机试，独家整理 已参加机试人员的实战技巧本期题目：寻找密码 题目 小王在进行游…...

编程日记 2023/5/12 12:59:30

FPGA有哪些优质的带源码的IP开源网站?

这是某乎上的一个问题，我觉得还不错，今天就系统性的总结一下1、fpga4funhttps://www.fpga4fun.com/你能在这个网站上找到什么？您可以找到信息页面，以及使用 FPGA 板构建的 FPGA 项目。注重点：项目。FPGA 项目使用一种称…...

编程日记 2023/5/10 23:26:43

基于模型预测控制(MPC)的微电网调度优化的研究（Matlab代码实现）

💥💥💞💞欢迎来到本博客❤️❤️💥💥 🏆博主优势：🌞🌞🌞博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。 ⛳️座右铭&a…...

编程日记 2023/5/24 3:59:04

Postman接口测试之Mock快速入门

一、Mock简介 1.Mock定义 Mock是一种比较特殊的测试技巧，可以在没有依赖项的情况下进行接口或单元测试。通常情况下，Mock与其他方法的区别是，用于模拟代码依赖对象，并允许设置对应的期望值。简单一点来讲，就是Mock创建…...

编程日记 2023/5/17 2:35:56

分享一个国内可用的免费ChatGPT网站

背景 ChatGPT作为一种基于人工智能技术的自然语言处理工具，近期的热度直接沸腾🌋。 作为一个程序员，我也忍不住做了一个基于ChatGPT的网站，免费！免登陆！！国内可直接对话ChatGPT，也…...

编程日记 2023/5/5 5:37:05

15. 三数之和(Java)

给你一个整数数组 nums ，判断是否存在三元组 [nums[i], nums[j], nums[k]] 满足 i ! j、i ! k 且 j ! k ，同时还满足 nums[i] nums[j] nums[k] 0 。请 你返回所有和为 0 且不重复的三元组。 注意：答案中不可以包含重复的三元组。 示例 …...

编程日记 2023/5/15 22:46:04

【大模型RAG】拍照搜题技术架构速览：三层管道、两级检索、兜底大模型

摘要 拍照搜题系统采用“三层管道（多模态 OCR → 语义检索 → 答案渲染）、两级检索（倒排 BM25 向量 HNSW）并以大语言模型兜底”的整体框架： 多模态 OCR 层 将题目图片经过超分、去噪、倾斜校正后，分别用…...

编程新知 2025/10/27 0:13:56

智慧工地云平台源码，基于微服务架构+Java+Spring Cloud +UniApp +MySql

智慧工地管理云平台系统，智慧工地全套源码，java版智慧工地源码，支持PC端、大屏端、移动端。 智慧工地聚焦建筑行业的市场需求，提供“平台网络终端”的整体解决方案，提供劳务管理、视频管理、智能监测、绿色施工、安全管…...

编程新知 2025/10/16 3:33:18

Neo4j 集群管理：原理、技术与最佳实践深度解析

Neo4j 的集群技术是其企业级高可用性、可扩展性和容错能力的核心。通过深入分析官方文档，本文将系统阐述其集群管理的核心原理、关键技术、实用技巧和行业最佳实践。 Neo4j 的 Causal Clustering 架构提供了一个强大而灵活的基石，用于构建高可用、可扩展且一致的图数据库服务…...

编程新知 2025/7/4 0:49:28

爬虫基础学习day2

# 爬虫设计领域 工商：企查查、天眼查短视频：抖音、快手、西瓜 ---> 飞瓜电商：京东、淘宝、聚美优品、亚马逊 ---> 分析店铺经营决策标题、排名航空：抓取所有航空公司价格 ---> 去哪儿自媒体：采集自媒体数据进…...

编程新知 2025/10/17 17:04:15

python报错No module named ‘tensorflow.keras‘

是由于不同版本的tensorflow下的keras所在的路径不同，结合所安装的tensorflow的目录结构修改from语句即可。 原语句： from tensorflow.keras.layers import Conv1D, MaxPooling1D, LSTM, Dense 修改后： from tensorflow.python.keras.lay…...

编程新知 2025/9/24 7:39:50

基于Java Swing的电子通讯录设计与实现：附系统托盘功能代码详解

JAVASQL电子通讯录带系统托盘 一、系统概述 本电子通讯录系统采用Java Swing开发桌面应用，结合SQLite数据库实现联系人管理功能，并集成系统托盘功能提升用户体验。系统支持联系人的增删改查、分组管理、搜索过滤等功能，同时可以最小化到系统…...

编程新知 2025/10/4 20:58:43

基于SpringBoot在线拍卖系统的设计和实现

摘 要 随着社会的发展，社会的各行各业都在利用信息化时代的优势。计算机的优势和普及使得各种信息系统的开发成为必需。 在线拍卖系统，主要的模块包括管理员；首页、个人中心、用户管理、商品类型管理、拍卖商品管理、历史竞拍管理、竞拍订单…...

编程新知 2025/10/23 10:04:42

[ACTF2020 新生赛]Include 1(php://filter伪协议)

题目 做法 启动靶机，点进去 点进去 查看URL，有 ?fileflag.php说明存在文件包含，原理是php://filter 协议 当它与包含函数结合时，php://filter流会被当作php文件执行。 用php://filter加编码，能让PHP把文件内容…...

编程新知 2025/10/26 11:16:30

深度学习之模型压缩三驾马车：模型剪枝、模型量化、知识蒸馏

一、引言 在深度学习中，我们训练出的神经网络往往非常庞大（比如像 ResNet、YOLOv8、Vision Transformer），虽然精度很高，但“太重”了，运行起来很慢，占用内存大，不适合部署到手机、摄…...

编程新知 2025/9/24 3:56:34

LLaMA-Factory 微调 Qwen2-VL 进行人脸情感识别（二）

在上一篇文章中，我们详细介绍了如何使用LLaMA-Factory框架对Qwen2-VL大模型进行微调，以实现人脸情感识别的功能。本篇文章将聚焦于微调完成后，如何调用这个模型进行人脸情感识别的具体代码实现，包括详细的步骤和注释。 模型调用步骤 环境准备：确保安装了必要的Python库。…...

编程新知 2025/7/22 19:40:37