Spark读取文件系统的数据(sbt打包测试)-入门级别Demo

学习目标

通过本关卡练习，您将学到：

• 如何使用Spark访问本地文件和HDFS文件
• Spark应用程序的编写、编译和运行方法

相关知识

操作系统：Ubuntu 16.04；
Spark版本：2.4.0；
Hadoop版本：3.1.3。

编程要求

任务一

• 在spark-shell中读取Linux系统本地文件/data/workspace/data_set/test.txt，然后统计出文件的行数。Spark默认安装在/usr/local/spark目录下。

cd  /usr/local/spark
./bin/spark-shell
val textFile=sc.textFile("file:data/workspace/data_set/test.txt")
textFile.count()

可以通过:quit退出spark-shell

任务二

• 为hadoop用户在HDFS中创建用户目录/user/hadoop

cd /usr/local/hadoop
./bin/hdfs dfs -mkdir -p /user/hadoop

• 将Linux系统本地的/data/workspace/data_set/testHdfs.txt文件上传到HDFS的目录/user/hadoop下

cd /usr/local/hadoop
./bin/hdfs dfs -put /data/workspace/data_set/testHdfs.txt

• 先用如下命令进入spark-shell

cd  /usr/local/spark && ./bin/spark-shell

再在spark-shell中读取HDFS系统文件/user/hadoop/testHdfs.txt,然后，统计出文件的行数

val textFile=sc.textFile("hdfs://localhost:9000/user/hadoop/testHdfs.txt")
textFile.count()

退出spark-shell

:quit

任务三

安装scala程序的构建工具sbt，可以到官网下载sbt安装文件sbt-1.3.8.tgz，也可直接使用已经下载好的安装文件/opt/sbt-1.3.8.tgz

• 使用如下命令，将sbt安装到/usr/local/sbt目录下：

sudo tar -zxf /opt/sbt-1.3.8.tgz -C /usr/local && sudo chown -R hadoop /usr/local/sbt

• 配置环境变量，用vim编辑文件~/.bashrc，命令如下：

vim ~/.bashrc

在末尾追加如下内容：

export SBT_HOME=/usr/local/sbt
export PATH=$PATH:$SBT_HOME/bin

保存退出之后，执行如下命令，使设置环境变量生效：

source ~/.bashrc

可以使用如下命令查看sbt版本信息：

cd ~ && sbt sbtVersion

配置sbt:
用vim创建文件/usr/local/sbt/conf/repositories

vim /usr/local/sbt/conf/repositories

内容如下：

[repositories]
local
local-preloaded-ivy: file:///${sbt.preloaded-${sbt.global.base> -${user.home}/.sbt}/preloaded/}, [organization]/[module]/[revi sion]/[type]s/[artifact](-[classifier]).[ext]
local-preloaded: file:///${sbt.preloaded-${sbt.global.base-${user.home}/.sbt}/preloaded/}maven-central: http://nexus3.plugins.svc/repository/maven-public/
sbt-plugin-repo: http://nexus3.plugins.svc/repository/maven-public/, [organization]/[module]/[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly

修改sbt配置文件/usr/local/sbt/conf/sbtopts，命令如下

vim /usr/local/sbt/conf/sbtopts

在末尾增加如下内容：

-Dsbt.override.build.repos=true
-Dsbt.repository.config=/usr/local/sbt/conf/repositories

任务四

编写独立应用程序（使用Scala语言），读取HDFS系统文件/user/hadoop/testHdfs.txt,然后，统计出文件的行数；通过sbt工具将整个应用程序编译打包成 JAR包，并将生成的JAR包通过 spark-submit 提交到 Spark 中运行命令。

1. 使用hadoop用户名登录Linux系统，打开一个终端，在Linux终端中，执行如下命令创建一个文件夹sparkapp作为应用程序根目录：

cd ~                               # 进入用户主文件夹
mkdir ./sparkapp                   # 创建应用程序根目录
mkdir -p ./sparkapp/src/main/scala # 创建所需的文件夹结构

2.下面使用vim编辑器在~/sparkapp/src/main/scala下建立一个名为SimpleApp.scala的Scala代码文件，命令如下：

代码文件SimpleApp.scala内容如下：

/* SimpleApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConfobject SimpleApp {def main(args: Array[String]) {val logFile = "hdfs://localhost:9000/user/hadoop/testHdfs.txt"val conf = new SparkConf().setAppName("Simple Application")val sc = new SparkContext(conf)val logData = sc.textFile(logFile, 2)val num = logData.count()println("The num of this file is %d".format(num))}
}

任务五

• 完成代码编辑后，使用sbt对Scala 程序进行编译打包。
  SimpleApp.scala程序依赖于Spark API，因此，需要通过sbt进行编译打包以后才能运行。 首先，需要使用vim编辑器在~/sparkapp目录下新建文件simple.sbt，命令如下：

vim ~/sparkapp/simple.sbt

simple.sbt文件内容如下：

name := "Simple Project"
version := "1.0"
scalaVersion := "2.11.12"
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.4.0"

• 为了保证sbt能够正常运行，先执行如下命令检查整个应用程序的文件结构：

cd ~/sparkapp
find .

文件结构应该是类似如下所示的内容：

.
./src
./src/main
./src/main/scala
./src/main/scala/SimpleApp.scala
./simple.sbt

接下来，通过如下代码将整个应用程序打包成 JAR：

cd ~/sparkapp  #一定把这个目录设置为当前目录
sbt package

生成的JAR包的位置为~/sparkapp/target/scala-2.11/simple-project_2.11-1.0.jar。
对于前面sbt打包得到的应用程序JAR包，可以通过spark-submit提交到Spark中运行，命令如下：

/usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp/target/scala-2.11/simple-project_2.11-1.0.jar