ubuntu中idea创建spark项目步骤

1.前置条件

• ubuntu中已经安装idea,jdk,scala,spark

2.打开idea，新建，选择Maven项目

3.在IDEA中，File-Setting-Plugin，下载Scala插件

4.File-project structure，导入插件

4.1在全局库中，选择导入刚才的scala插件

4.2在项目库中，导入spark安装目录jar包所在路径

5.在原项目的main目录下新建scala文件夹，并右击，将其设置为Source Root，在scala文件夹下，右击新建scala型Object文件WordCount。

6.在pom.xml中添加如下内容：

然后再pom.xml的右上角点击Load Maven Change,自动下载各个依赖包文件。

注意scala版本和spark版本可以在cmd窗口输入spark-shell进行查看。

7.此时在WordCount.scala中输入测试代码，及导入spark包不会报错。