Linux环境运行Maven 生成的hadoop jar包

运行命令：

hadoop jar ./jar包名字   class对象路径   输入路径   输出路径

 

linux内部jar包测试

cd  到以下目录，创建以下文件夹

[root@reagan180 ~]# cd  /opt/soft/hadoop313/share/hadoop/mapreduce/

 创建文件夹（读取路径）

[root@reagan180 mapreduce]# hdfs dfs -mkdir /inpath

 创建文本文件，内容随意编写

 [root@reagan180 mapreduce]# vim aa.txt

移动文件到读取路径 

[root@reagan180 mapreduce]# hdfs dfs -put ./aa.txt /inpath

然后运行命令：写入路径会自己创建，但是如果存在，会报错，修改路径即可

[root@reagan180 mapreduce]# hadoop jar ./hadoop-mapreduce-examples-3.1.3.jar wordcount /inpath /outpath

创建jar包

 方法1：打开ideal，找到需要导成Jar包的driver类 

先编译 点击complie：

 

然后打包 点击 package：

 

打包成功后，jar会生成在target目录下

将jar包放在linux里的opt目录下

 

 然后输入命令运行：因为读取和写入路径已经写在class对象，此处可省略：

class对象路径：右击对象名

 

[root@reagan180 opt]#hadoop jar ./hadoopstu-1.0-SNAPSHOT.jar nj.zb.kb21.demo4.StudentDriver

路径：方法2 采用psvm 里的arg[ ] 集合元素  更加灵活

设置元素为： /inpath  /outpath

 

 

 重复上面打成jar包操作

命令需要做个调整，加上读取和输入路径：

[root@reagan180 opt]#hadoop jar ./hadoopstu-1.0-SNAPSHOT.jar nj.zb.kb21.demo4.StudentDriver /bigdata/in/demo2/stuscore.csv  /bigdata/out4.2

补充：启动 JobHistoryServer命令  : 

mr-jobhistory-daemon.sh start historyserver ：