【Spark】win10配置IDEA、saprk、hadoop和scala

终于，要对并行计算下手了哈哈哈。

一直讲大数据大数据，我单次数据处理量大概在1t上下，是过亿级的轨迹数据。
用python调用multiprogress编写的代码，用多线程也要一个多月跑完。
我对这个效率不太满意，希望能快一点再快一点，这是学习Spark的前提。

---

安装过程见：
spark出pyspark了，可直接用python调用。但是我想接触下scala。所以先装scala试试。

博客园：windows上安装和运行spark scala
Spark简单介绍，Windows下安装Scala+Hadoop+Spark运行环境，集成到IDEA中

下面采用的是博客园的步骤。先IDEA，再saprk、hadoop、scala。
第二个微信链接，是先scala、hadoop，再spark。都可以

安装jdk

安装intelj IDEA，配置scala插件

wechat文章：2023最新版IntelliJ IDEA安装教程（非常详细）从零基础入门到精通，看完这一篇就够了

安装spark

• https://archive.apache.org/dist/spark/spark-3.5.0/ 官网下也可以
  这里需要注意的是验证部门，也就是解压完spark文件后，官方提醒要验证一下下载包是否有错。参考下面链接step4
  How to Install Apache Spark on Windows 10：https://phoenixnap.com/kb/install-spark-on-windows-10

安装hadoop

• https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.6/hadoop-3.3.6-src.tar.gz
  需要注意的是，带【src.tar.gz】下载解压后的hadoop没有bin文件，要去https://gitcode.net/mirrors/cdarlint/winutils/-/tree/master/hadoop-3.3.5/bin选择版本下载补充。（我不理解为什么）
  3.3.6是最新版本hadoop，但是上面gitcode库中，bin更新到3.3.5，所以注意版本
  https://downloads.apache.org/hadoop/common/hadoop-3.3.5/
• 另一个方法是在https://downloads.apache.org/hadoop/common/hadoop-3.3.6/，选择【tar.gz】结尾的文件，也就是几百兆的那个，很大的。里面自带bin文件
  具体可见Spark简单介绍，Windows下安装Scala+Hadoop+Spark运行环境，集成到IDEA中 中安装hadoop的
• 如果在cmd验证时，输入hadoop，显示有一个错误是Error: JAVA_HOME is incorrectly set。解决方法一：
  Error: JAVA_HOME is incorrectly set. Please update F:\hadoop\conf\hadoop-env.cmd解决方法。
  
  环境变量设置java_home办法：JAVA_HOME环境变量的配置（Win10系统）
  随后关掉cmd再重新打开输入hadoop，不会报错了。

安装scala SDK

scala和spark版本对应，看这个链接：https://mvnrepository.com/artifact/org.apache.spark/spark-core
我3.5对应scala的2.12或者2.13。然后去官网下载，配好环境变量就行
https://www.scala-lang.org/download/all.html

安装Maven

我没有装，有需要再来

---

我的综合版本：
IDE:Intelij IDEA 2023.2.2
spark-3.5.0-bin-hadoop3
hadoop-3.3.6-tar.gz
Scala 2.13.12

验证scala

在IDEA中新建项目。2023版本跟网上的一些之前版本例子不一样，尤其是在【build system】这里，选择红框的。
这样新建的项目中才可以生成新的scala类。