当前位置: 首页 > news >正文

hadoop3跑第一个例子wordcount

1、创建目录

hdfs dfs -mkdir -p /user/input

2、创建测试文件,并上传文件到hdfs

echo '1' > 1.txt
hdfs dfs -put 1.txt /user/input

3、进入hadoop-3目录,并创建测试文件

cd /app/hadoop-3

创建目录
mkdir wcinput
cd wcinput
保存wc.input
nano wc.input

hadoop yarn
hadoop mapreduce
spark
spark

上传文件

hdfs dfs -put wcinput/wc.input /user/input/

4、使用词频测试wordcount

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /user/input/ /user/output

问题:
如果卡住很久,修改更改mapred-site.xml文件将

<property><name>mapreduce.framework.name</name><value>yarn</value>
</property>

改为:

<property><name>mapreduce.job.tracker</name><value>hdfs://此处为自己的电脑IP:8001</value><final>true</final></property>

再次运行即可。

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /user/input/ /user/output

另一种可以尝试的方法是修改:yarn-site.xml
删除cpu和内存配置的相关内容,重启yarn。
参考文章:
https://blog.csdn.net/lwprain/article/details/142280497?spm=1001.2014.3001.5501
5、输出统计结果

hdfs dfs -cat /user/output/*

6、修改hdfs的权限 不一定用

hdfs dfs -chmod -R 755 / 

7、常用地址
http://192.168.6.19:9870/ 查看文件
http://192.168.6.19:8088/查看mapreduce情况
8、删除输出目录

hdfs dfs -rm -R /user/output

9、如果跑例子时提示出错,找不到resource-types.xml文件,则
nano etc/hadoop/resource-types.xml ,添加后可能会导致yarn无法启动,目前尚未找到原因。
内容如下:

<configuration><property><name>yarn.resource-types</name><value>resource1, resource2</value></property><property><name>yarn.resource-types.resource1.units</name><value>G</value></property><property><name>yarn.resource-types.resource2.minimum</name><value>1</value></property><property><name>yarn.resource-types.resource2.maximum</name><value>1024</value></property>
</configuration>

10、 提示错误:Couldn’t preview the file. NetworkError: Failed to execute ‘send’ on ‘XMLHttpRequest’: Failed to load
hdfs-site.xml 增加内容,用于web预览文件

<property><name>dfs.webhdfs.enabled</name><value>true</value>
</property>

11、如果windows下需要预览文件
在C:\Windows\System32\drivers\etc\hosts
增加: 192.168.6.19 master 即可

相关文章:

hadoop3跑第一个例子wordcount

1、创建目录 hdfs dfs -mkdir -p /user/input2、创建测试文件&#xff0c;并上传文件到hdfs echo 1 > 1.txt hdfs dfs -put 1.txt /user/input3、进入hadoop-3目录&#xff0c;并创建测试文件 cd /app/hadoop-3创建目录 mkdir wcinput cd wcinput 保存wc.input nano wc.i…...

Maven笔记(二):进阶使用

Maven笔记&#xff08;二&#xff09;-进阶使用 一、Maven分模块开发 分模块开发对项目的扩展性强&#xff0c;同时方便其他项目引入相同的功能。 将原始模块按照功能拆分成若干个子模块&#xff0c;方便模块间的相互调用&#xff0c;接口共享(类似Jar包一样之间引用、复用)…...

Apache ZooKeeper 及 Curator 使用总结

1. 下载 官网地址&#xff1a;Apache ZooKeeper 点击下载按钮 选择对应的版本进行下载 2. 使用 1、解压 tar -zxf apache-zookeeper-3.9.2-bin.tar.gz2、复制配置文件&#xff0c;有一个示例配置文件 conf/zoo_sample.cfg&#xff0c;此文件不能生效&#xff0c;需要名称为…...

深入探索:MATLAB中的硬件支持包(HSP)及其应用

在MATLAB环境中&#xff0c;硬件支持包&#xff08;HSP&#xff09;扮演着至关重要的角色&#xff0c;尤其是在与硬件交互和嵌入式系统开发方面。HSP提供了一套工具和库&#xff0c;使得MATLAB能够与特定的硬件平台进行有效通信&#xff0c;实现代码的生成和优化。本文将详细介…...

5.内容创作的未来:ChatGPT如何辅助写作(5/10)

引言 在信息爆炸的时代&#xff0c;内容创作已成为连接品牌与受众、传递信息与知识、以及塑造文化与观念的重要手段。随着数字媒体的兴起&#xff0c;内容创作的需求日益增长&#xff0c;对创作者的写作速度和质量提出了更高的要求。人工智能&#xff08;AI&#xff09;技术的…...

Day26_0.1基础学习MATLAB学习小技巧总结(26)——数据插值

利用空闲时间把碎片化的MATLAB知识重新系统的学习一遍&#xff0c;为了在这个过程中加深印象&#xff0c;也为了能够有所足迹&#xff0c;我会把自己的学习总结发在专栏中&#xff0c;以便学习交流。 参考书目&#xff1a; 1、《MATLAB基础教程 (第三版) (薛山)》 2、《MATL…...

SQL进阶技巧:火车票相邻座位预定一起可能情况查询算法 ?

目录 0 场景描述 1 数据准备 2 问题分析 2.1 分析函数法 2.2 自关联求解 3 小结...

神经网络构建原理(以MINIST为例)

神经网络构建原理(以MINIST为例) 在 MNIST 手写数字识别任务中&#xff0c;构建神经网络并训练模型来进行分类是经典的深度学习应用。MNIST 数据集包含 28x28 像素的手写数字图像&#xff08;0-9&#xff09;&#xff0c;任务是构建一个神经网络&#xff0c;能够根据输入的图像…...

【ArcGIS微课1000例】0123:数据库中要素类批量转为shapefile

除了ArcGIS之外的其他GIS平台,想要打开ArcGIS数据库,可能无法直接打开,为了便于使用shp,建议直接将数据库中要素类批量转为shapefile。 文章目录 一、连接至数据库二、要素批量转shp一、连接至数据库 打开ArcMap,或者打开ArcCatalog,找到数据库连接,如下图: 数据库为个…...

【Elasticsearch系列十九】评分机制详解

&#x1f49d;&#x1f49d;&#x1f49d;欢迎来到我的博客&#xff0c;很高兴能够在这里和您见面&#xff01;希望您在这里可以感受到一份轻松愉快的氛围&#xff0c;不仅可以获得有趣的内容和知识&#xff0c;也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…...

神经网络通俗理解学习笔记(3)注意力神经网络

Tansformer 什么是注意力机制注意力的计算键值对注意力和多头注意力自注意力机制注意力池化及代码实现Transformer模型Transformer代码实现BERT 模型GPT 系列模型GPT-1模型思想GPT-2模型思想GPT-3 模型思想 T5模型ViT模型Swin Transformer模型GPT模型代码实现 什么是注意力机制…...

【C#】 EventWaitHandle的用法

EventWaitHandle 是 C# 中用于线程间同步的一个类&#xff0c;它提供了对共享资源的访问控制&#xff0c;以及线程间的同步机制。EventWaitHandle 类位于 System.Threading 命名空间下&#xff0c;主要用于实现互斥访问、信号量控制等场景。 创建 EventWaitHandle 创建一个 E…...

设计模式之结构型模式例题

答案&#xff1a;A 知识点 创建型 结构型 行为型模式 工厂方法模式 抽象工厂模式 原型模式 单例模式 构建器模式 适配器模式 桥接模式 组合模式 装饰模式 外观模式 享元模式 代理模式 模板方法模式 职责链模式 命令模式 迭代器模式 中介者模式 解释器模式 备忘录模式 观…...

camtasia2024绿色免费安装包win+mac下载含2024最新激活密钥

Hey, hey, hey&#xff01;亲爱的各位小伙伴&#xff0c;今天我要给大家带来的是Camtasia2024中文版本&#xff0c;这款软件简直是视频制作爱好者的福音啊&#xff01; camtasia2024绿色免费安装包winmac下载&#xff0c;点击链接即可保存。 先说说这个版本新加的功能吧&#…...

如何导入一个Vue并成功运行

注意1&#xff1a;要确保自己已经成功创建了一个Vue项目&#xff0c;创建项目教程在如何创建Vue项目 注意2&#xff1a;以下操作均在VS Code&#xff0c;教程在VS Code安装教程 一、Vue项目导入VS Code 1.点击文件&#xff0c;然后点击将文件添加到工作区 2. 选择自己的vue项…...

封装svg图片

前言 项目中有大量svg图片&#xff0c;为了方便引入&#xff0c;所以对svg进行了处理 一、svg是什么&#xff1f; svg是可缩放矢量图形&#xff0c;是一种图片格式 二、使用步骤 1.创建icons文件夹 将icons文件夹放进src中&#xff0c;并创建一个svg文件夹和index.js&…...

tomcat的Catalinalog和localhostlog乱码

找到tomcat安装目录的loging文件 乱码这两个由UTF-8改为GBK...

行人持刀检测数据集 voc yolo

行人持刀检测数据集 9000张 持刀检测 带标注 voc yolo 行人持刀检测数据集 数据集描述 该数据集旨在用于行人持刀行为的检测任务&#xff0c;涵盖了多种场景下的行人图像&#xff0c;特别是那些携带刀具的行人。数据集包含大量的图像及其对应的标注信息&#xff0c;可用于训练…...

基于51单片机的汽车倒车防撞报警器系统

目录 一、主要功能 二、硬件资源 三、程序编程 四、实现现象 一、主要功能 本课题基于微控制器控制器&#xff0c; 设计一款汽车倒车防撞报警器系统。 要求&#xff1a; 要求&#xff1a;1.配有距离&#xff0c; 用于把车和障碍物之间的距离信号送入控制器。 2.配有报警系…...

NLP 文本匹配任务核心梳理

定义 本质上是做了意图的识别 判断两个内容的含义&#xff08;包括相似、矛盾、支持度等&#xff09;侠义 给定一组文本&#xff0c;判断语义是否相似Yi 分值形式给出相似度 广义 给定一组文本&#xff0c;计算某种自定义的关联度Text Entailment 判断文本是否能支持或反驳这个…...

FaaS承载AI Agent的性能断崖真相,实测AWS Lambda vs Cloudflare Workers响应延迟对比(含17项压测数据)

更多请点击&#xff1a; https://intelliparadigm.com 第一章&#xff1a;FaaS承载AI Agent的性能断崖真相 当AI Agent被部署至函数即服务&#xff08;FaaS&#xff09;平台时&#xff0c;其推理延迟常出现非线性跃升——从本地毫秒级响应骤增至数秒甚至超时失败。这一“性能断…...

告别环境报错!保姆级教程:从JRE到STM32CubeMX 6.10.0的完整安装与配置

从零搭建STM32开发环境&#xff1a;CubeMX 6.10.0避坑全指南 刚拿到STM32开发板时的兴奋&#xff0c;往往在环境配置阶段就被各种报错消磨殆尽。作为过来人&#xff0c;我深刻理解那种看着红色错误提示却无从下手的挫败感。本文将带你用最稳妥的方式完成从Java环境到CubeMX的全…...

2026 AI大模型API加速网站推荐

在AI开发领域&#xff0c;一个现实问题始终困扰着开发者&#xff1a;如何接入模型厂商的官方API&#xff1f;在海外&#xff0c;注册、绑卡、调用这三个步骤就能轻松解决。然而&#xff0c;国内开发者面临着跨境网络波动、外币支付门槛、发票合规需求以及多厂商Key碎片化管理等…...

谁是 AI 时代的格式之王?Markdown vs HTML 的终极对决

谁是 AI 时代的格式之王&#xff1f;Markdown vs HTML 的终极对决 最近&#xff0c;Anthropic Claude Code 团队的工程师 Thariq Shihipar 发了一篇文章&#xff0c;标题就叫「HTML 回来了」。 他的观点很直接&#xff1a;Markdown 作为 AI Agent 输出格式的时代&#xff0c;正…...

企业微信打卡数据API实战:用Java+FastJSON手把手教你拉取员工考勤记录

企业微信考勤数据集成实战&#xff1a;JavaFastJSON构建高可用API对接方案 考勤数据作为企业管理的重要基础数据&#xff0c;其自动化采集与处理能力直接影响人力资源管理的效率。企业微信作为国内主流的企业级通讯工具&#xff0c;其开放的打卡数据API为开发者提供了便捷的集成…...

redis之典型应用-缓存cache

什么是缓存缓存 (cache) 是计算机中的一个经典的概念. 在很多场景中都会涉及到. 核心思路就是把一些常用的数据放到触手可及(访问速度更快)的地方, 方便随时读取。大部分的时候, 缓存只放一些 热点数据 (访问频繁的数据),对于硬件的访问速度来说, 通常情况下: CPU 寄存器 > …...

macOS OBS虚拟摄像头技术实现指南:CoreMediaIO架构与DAL插件开发

macOS OBS虚拟摄像头技术实现指南&#xff1a;CoreMediaIO架构与DAL插件开发 【免费下载链接】obs-mac-virtualcam ARCHIVED! This plugin is officially a part of OBS as of version 26.1. See note below for info on upgrading. &#x1f389;&#x1f389;&#x1f389;Cr…...

汽车电子安全:从CAN总线到纵深防御的嵌入式安全实战

1. 从“汽车黑客”到“数字堡垒”&#xff1a;一位嵌入式工程师的十年安全观演进十多年前&#xff0c;当EE Times那场关于“汽车黑客是否值得担忧”的在线聊天发起时&#xff0c;我正埋头于一个汽车ECU&#xff08;电子控制单元&#xff09;的底层驱动开发。彼时&#xff0c;“…...

如何用开源工具Lano Visualizer让桌面音乐体验“看得见“?[特殊字符]

如何用开源工具Lano Visualizer让桌面音乐体验"看得见"&#xff1f;&#x1f3b5; 【免费下载链接】Lano-Visualizer A simple but highly configurable visualizer with rounded bars. 项目地址: https://gitcode.com/gh_mirrors/la/Lano-Visualizer 在数字时…...

避开这些坑:在MATLAB中用DQN做LKA时,我的并行训练为什么失败了?

避开这些坑&#xff1a;在MATLAB中用DQN做LKA时&#xff0c;我的并行训练为什么失败了&#xff1f; 当你第一次在MATLAB中启用UseParalleltrue选项时&#xff0c;可能满怀期待地以为训练速度会直线上升。但现实往往很骨感——要么直接报错终止&#xff0c;要么训练效率反而比串…...