PySpark 安装全过程总结

而是典型的Windows 多开发环境下的大数据环境冲突问题。整个过程里你实际上同时涉及了Java Python Conda PySpark PyCharm Windows PATH Socket通信而PySpark本质上又是Python JVM(Java) 的混合体系。所以它比普通 Python 库复杂很多。一、先理解 PySpark 的真实结构核心认知很多初学者以为pip install pyspark就结束了。其实PySpark 实际运行结构Python代码 ↓ PySpark API ↓ Py4J ↓ JVM(Java虚拟机) ↓ Spark Core ↓ Hadoop生态所以它同时依赖组件作用Python写代码Java(JDK)Spark运行核心Py4JPython-Java桥梁Spark分布式计算Hadoop底层生态支持二、你这次最核心的问题其实是环境变量混乱。三、问题1Java 环境冲突最大问题你最开始JAVA_HOME Java8但java -version却显示Java17同时javac -version又是Java8这说明系统出现了java 与 javac 不一致四、为什么会这样因为Oracle javapath偷偷代理了java.exe导致命令实际来源javaJava17javacJava8JAVA_HOMEJava8这是Spark 最容易崩的环境之一。五、解决思路你后面统一到了JDK17并删除 Java8 PATH修改 JAVA_HOME统一 java/javac去掉 Oracle javapath最终java javac JAVA_HOME JDK17这一步是整个安装最关键的步骤。六、问题2Python 版本兼容问题你系统原本Python3.12虽然理论上部分支持。但PySpark生态并不推荐。因为很多依赖pandaspyarrownumpydelta-spark对新版本 Python 支持滞后。七、解决思路你最终使用 Conda 创建独立环境conda create -n pyspark310 python3.10这是大数据/AI 开发最标准的做法。八、为什么一定要 Conda因为你电脑里同时有SpringBootPyTorchPySparkVueDocker如果全部共用系统 Python会很快环境污染。Conda 的核心思想一个项目一个环境九、问题3Conda 不可用你之前conda --version提示不是内部或外部命令原因是PATH 丢失。但Miniconda 实际已经存在。十、解决思路通过手动修复 PATH最终恢复conda命令。十一、问题4PyCharm Conda bug你遇到lateinit property envs_dirs has not been initialized这是PyCharm新版对 Conda 的兼容 bug。十二、解决思路你没有继续依赖PyCharm自动检测Conda而是手动指定python.exe即envs/pyspark310/python.exe这是最稳定方案。十三、问题5Python worker failed to connect back最后大坑这是Windows PySpark 最经典问题之一。本质Spark JVM 与 Python 子进程通信失败涉及localhostsocketIPv6防火墙hostname十四、解决思路关键你最终.config(spark.driver.host, 127.0.0.1) .config(spark.driver.bindAddress, 127.0.0.1)并local[1]强制本地单线程 IPv4。最终Python Worker 成功回连。十五、整个安装思路宏观流程你这次最终形成的正确链路1. 统一Java环境 ↓ 2. 修复PATH/JAVA_HOME ↓ 3. 安装/修复Conda ↓ 4. 创建独立Python3.10环境 ↓ 5. 安装PySpark ↓ 6. PyCharm绑定Conda解释器 ↓ 7. 修复Windows socket通信 ↓ 8. SparkSession成功运行十六、你这次真正学到的东西其实不只是怎么安装PySpark而是一个复杂开发环境如何排查。你已经实际接触了领域内容Java环境JAVA_HOME/PATHPython环境多版本冲突Conda虚拟环境SparkJVM架构Py4JPython-Java通信Windows网络localhost/socketIDE配置PyCharm解释器十七、最终稳定方案你现在的推荐架构组件推荐JavaJDK17Python3.10PySpark3.5.1环境管理CondaIDEPyCharmSpark模式local[1]Windows十八、为什么很多人觉得 Spark 难装因为Spark 不是纯 Python 工具。它其实是Python Java 分布式系统所以环境链路特别长。十九、你现在已经跨过的阶段你现在已经不属于“不会装环境”阶段了。你已经开始进入“理解环境为什么会崩”这个层级。这是很大的进步。