当前位置： 首页 > news >正文

pycharm-pyspark 环境安装

news 2026/5/20 14:20:44

1、环境准备：java、scala、pyspark、python-anaconda、pycharm
vi ~/.bash_profile

export SCALA_HOME=/Users/xunyongsun/Documents/scala-2.13.0
export PATH= P A T H : PATH: PATH:SCALA_HOME/bin
export SPARK_HOME=/Users/xunyongsun/Documents/spark-3.5.4-bin-hadoop3
export PATH= P A T H : PATH: PATH:SPARK_HOME/bin
export PYTHONPATH= S P A R K H O M E / p y t h o n : SPARK_HOME/python: SPARKH​OME/python:SPARK_HOME/python/lib/py4j-0.10.9.7-src.zip
export PATH= S P A R K H O M E / p y t h o n : SPARK_HOME/python: SPARKH​OME/python:PATH

source ~/.bash_profile

scala -version
java -version
pyspark

pip -V
python -V

2、创建project
在这里插入图片描述3、选中项目,点击Pycharm->Settings…->点击 Project:xxx:->Project Structure
在这里插入图片描述
4、配置SPARK_HOME
写好pyspark脚本后，在运行python脚本之前，要配置下SPARK_HOME
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
5、conda 的env环境增加pyspark引用

6、运行脚本

相关文章：

pycharm-pyspark 环境安装

1、环境准备：java、scala、pyspark、python-anaconda、pycharm vi ~/.bash_profile export SCALA_HOME/Users/xunyongsun/Documents/scala-2.13.0 export PATH P A T H : PATH: PATH:SCALA_HOME/bin export SPARK_HOME/Users/xunyongsun/Documents/spark-3.5.4-bin…...

编程日记 2025/1/11 18:18:25

Unity + Firebase + GoogleSignIn 导入问题

我目前使用 Unity版本：2021.3.33f1 JDK版本为：1.8 Gradle 版本为：6.1.1 Firebase 版本: 9.6.0 Google Sign In 版本为： 1.0.1 问题1 ：手机点击登录报错 apk转化成zip，解压，看到/lib/armeabi-v…...

编程日记 2025/1/11 18:17:24

web-app uniapp监测屏幕大小的变化对数组一行展示数据作相应处理

web-app uniapp监测屏幕大小的变化对数组一行展示数据作相应处理 1.uni.getSystemInfoSync().screenWidth; 获取屏幕宽度 2.uni.onWindowResize（） 实时监测屏幕宽度变化 3.根据宽度的大小拿到每行要展示的数量itemsPerRow 4.为了确保样式能够根据 items…...

编程日记 2025/1/11 18:14:19

2025年VGC大众汽车科技社招入职测评综合能力英语口语SHL历年真题汇总、考情分析

早在1978年，大众汽车集团就开始了与中国的联系。1984年，集团在华的第一家合资企业—上汽大众汽车有限公司奠基成立；1991年，一汽-大众汽车有限公司成立；2017年，大众汽车（安徽）有限公司…...

编程日记 2025/1/11 18:13:18

Linux中配置Java环境变量

基本工作 1.官网下载java 1.8地址（需要注册一个oracle账户）： Java Downloads | Oracle 点击上面的链接，滚动页面到最下面就可以看到下载界面，如下图 选择适合自己系统的版本。 本文选用 jdk-8u431-linux-x64.tar.g…...

编程日记 2025/1/11 18:12:17

完全自定义Qt翻译功能，不使用Qt Linguist的.ts 和 .qm类型翻译

这篇文章展示了集成Qt Linguist 的功能。 但是有时候Qt的翻译功能比较繁琐，我们简单项目只需要使用本地化功能，将中文字符串导入到项目中，避免编码格式问题导致的乱码。 只需要使用一个简单的json或者其他格式的本地文件作为映射的key/value.…...

编程日记 2025/1/11 18:10:13

551 灌溉

常规解法&#xff1a; #include<bits/stdc.h> using namespace std; int n,m,k,t; const int N105; bool a[N][N],b[N][N]; int cnt; //设置滚动数组来存贮当前和下一状态的条件 //处理传播扩散问题非常有效int main() {cin>>n>>m>>t;for(int i1;i&l…...

编程日记 2025/1/11 18:08:11

php函数性能优化中应注意哪些问题

PHP 函数性能优化中的注意事项 在 PHP 应用中优化函数性能对于提升整体运行效率至关重要。以下是一些需要注意的关键问题&#xff1a; 1. 避免内联变量 将变量内联到函数调用中会增加不必要的开销。例如&#xff1a; function sum($a, $b) {return $a $b; }// 不要这样做&…...

编程日记 2025/1/11 18:05:09

安科瑞 Acrel-1000DP 分布式光伏监控系统在工业厂房分布式光伏发电项目中的应用

吕梦怡 18706162527 摘 要&#xff1a;常规能源以煤、石油、天然气为主&#xff0c;不仅资源有限&#xff0c;而且会造成严重的大气污染&#xff0c;开发清洁的可再生能源已经成为当今发展的重要任务&#xff0c;“节能优先&#xff0c;效率为本”的分布式发电能源符合社会发…...

编程日记 2025/1/11 18:01:05

鼠标自动移动防止锁屏的办公神器 —— 定时执行专家

目录 ◆ 如何设置 ◇ 方法1&#xff1a;使用【执行Nircmd命令】任务 ◇ 方法2&#xff1a;使用【模拟键盘输入】任务 ◆ 定时执行专家介绍 ◆ 定时执行专家最新版下载 ◆ 如何设置 ◇ 方法1&#xff1a;使用【执行Nircmd命令】任务 1、点击工具栏第一个图标【新建任务】&…...

编程日记 2025/1/11 17:58:02

各种特种无人机快速发展，无人机反制技术面临挑战

随着科技的飞速发展&#xff0c;各种特种无人机在军事、民用等领域得到了广泛应用&#xff0c;其性能不断提升&#xff0c;应用场景也日益丰富。然而&#xff0c;无人机反制技术的发展确实面临一定的挑战&#xff0c;难以完全跟上无人机技术的快速发展步伐。以下是对这一问题的…...

编程日记 2025/1/11 17:54:59

深入学习RabbitMQ的Direct Exchange（直连交换机）

RabbitMQ作为一种高性能的消息中间件&#xff0c;在分布式系统中扮演着重要角色。它提供了多种消息传递模式&#xff0c;其中Direct Exchange&#xff08;直连交换机&#xff09;是最基础且常用的一种。本文将深入介绍Direct Exchange的原理、应用场景、配置方法以及实践案例&a…...

编程日记 2025/1/11 17:50:52

HTML实战课堂之启动动画弹窗

一&#xff1a;代码片段讲解 小提示&#xff1a;下面是一个包含启动页和弹窗的完整示例。这个示例包括一个简单的启动页和一个弹窗&#xff0c;当用户点击启动页上的按钮时&#xff0c;会显示弹窗。 1. **HTML结构**&#xff1a; - #startPage&#xff1a;启动页&#xff0c;包…...

编程日记 2025/1/11 17:49:48

将本地的 Git 仓库上传到 GitHub 上（github没有该仓库）

文章目录 步骤 1&#xff1a;在 GitHub 上创建新仓库步骤 2&#xff1a;配置本地仓库步骤 3&#xff1a;添加远程仓库地址步骤 4&#xff1a;推送本地代码到 GitHub验证上传 步骤 1&#xff1a;在 GitHub 上创建新仓库 登录 GitHub&#xff1a; 打开浏览器并访问 GitHub。使用自…...

编程日记 2025/1/11 17:47:45

【Linux】模拟Shell命令行解释器

一、知识补充 1.1 snprintf snprintf() 是 C语言的一个标准库函数&#xff0c;定义在<stdio.h>头文件中。 snprintf() 函数的功能是格式化字符串&#xff0c;并将结果存储在指定的字符数组中。该函数的原型如下&#xff1a; int snprintf(char *str, size_t size, con…...

编程日记 2025/1/11 17:43:39

G-Star Landscape 2.0 重磅发布，助力开源生态再升级

近日&#xff0c;备受行业瞩目的 G-Star Landscape 迎来了其 2.0 版本的发布&#xff0c;这一成果标志着 GitCode 在开源生态建设方面又取得了重要进展。 G-Star Landscape仓库链接&#xff1a; https://gitcode.com/GitCode-official-team/G-Star-landscape 2024 GitCode 开…...

编程日记 2025/1/11 17:40:34

Lianwei 安全周报|2024.1.7

以下是本周「Lianwei周报」&#xff0c;我们总结推荐了本周的政策/标准/指南最新动态、热点资讯和安全事件&#xff0c;保证大家不错过本周的每一个重点&#xff01; 政策/标准/指南最新动态 01 国家发改委等三部门印发《国家数据基础设施建设指引》 国家数据基础设施是从数据…...

编程日记 2025/1/11 17:39:32

ASP.NET Core 实现微服务 - Consul 配置中心

这一次我们继续介绍微服务相关组件配置中心的使用方法。本来打算介绍下携程开源的重型配置中心框架 apollo 但是体系实在是太过于庞大&#xff0c;还是让我爱不起来。因为前面我们已经介绍了使用Consul 做为服务注册发现的组件 &#xff0c;那么干脆继续使用 Consul 来作为配置…...

编程日记 2025/1/11 17:38:31

使用redis的5种常用场景

文章目录 1. 缓存热点数据2. 分布式锁3. 计数器和限流器4. 消息队列5. 会话管理总结 在日常开发工作中&#xff0c;Redis作为一款高性能的内存数据库&#xff0c;凭借其强大的功能特性和卓越的性能表现&#xff0c;已经成为了许多项目中不可或缺的组件。本文将详细介绍Redis在实…...

编程日记 2025/1/11 17:36:29

微信小程序防止重复点击事件

直接写在app.wpy里面&#xff0c;全局可以调用 // 防止重复点击事件preventActive(fn) {const self this;if (this.globalData.PageActive) {this.globalData.PageActive false;if (fn) fn();setTimeout(() > {self.globalData.PageActive true;}, 3000); //设置该时间内…...

编程日记 2025/1/11 17:35:28

别再乱配了！Modbus Slave模拟器与iPlat点表地址映射的保姆级避坑指南

Modbus Slave模拟器与工业平台联调实战&#xff1a;从地址映射原理到批量读取优化 工业物联网项目中&#xff0c;Modbus协议作为最常用的数据采集标准&#xff0c;其配置过程看似简单却暗藏玄机。我曾亲眼见过一个资深工程师花了三天时间排查数据采集失败问题&#xff0c;最终发…...

编程新知 2026/5/20 13:21:29

从密码学论文到实战：聊聊Renyi散度为啥成了安全证明的‘香饽饽’

从密码学论文到实战&#xff1a;Renyi散度为何成为安全证明的核心工具 密码学研究者们最近几年在论文中频繁引用一个看似晦涩的概念——Renyi散度。如果你正在阅读格密码或后量子密码相关的安全证明&#xff0c;这个词几乎无处不在。但为什么这个诞生于上世纪60年代的信息论概念…...

编程新知 2026/5/20 12:46:22

免费开源乐谱识别神器Audiveris：三步将纸质乐谱转为数字格式

免费开源乐谱识别神器Audiveris&#xff1a;三步将纸质乐谱转为数字格式 【免费下载链接】audiveris Latest generation of Audiveris OMR engine 项目地址: https://gitcode.com/gh_mirrors/au/audiveris 你是否曾面对一叠纸质乐谱&#xff0c;渴望将它们转换成可编辑的…...

编程新知 2026/5/20 12:07:57

终极AMD Ryzen调试指南：简单三步掌握硬件性能调优

终极AMD Ryzen调试指南&#xff1a;简单三步掌握硬件性能调优 【免费下载链接】SMUDebugTool A dedicated tool to help write/read various parameters of Ryzen-based systems, such as manual overclock, SMU, PCI, CPUID, MSR and Power Table. 项目地址: https://gitcod…...

编程新知 2026/5/20 11:37:22

OpenClaw 环境搭建｜可视化操作零门槛

&#x1f4cc; OpenClaw 一键安装包&#xff5c;一键部署&#xff0c;告别复杂环境配置 适配系统&#xff1a;Windows10/11 64 位当前版本&#xff1a;v2.7.5&#xff08;虾壳云版&#xff09; ⭐ 核心优势 全程可视化操作&#xff0c;无需命令行、无需手动配置 Python/Node…...

编程新知 2026/5/20 11:24:56

WinForm窗体最小化与还原（右下角）

最小化按钮private void btnMinimize_Click( object sender, EventArgs e ) {this.WindowState FormWindowState.Minimized;notifyIcon1 new NotifyIcon( );notifyIcon1.Icon this.Icon;notifyIcon1.MouseDoubleClick NotifyIcon1_MouseDoubleClick; }窗体最小化与还原触发…...

编程新知 2026/5/20 10:36:02

为汉语辩护，彰显中华文字的生命力与优越性

为汉语辩护&#xff0c;彰显中华文字的生命力与优越性上世纪初&#xff0c;一批所谓“新文化人”竟提出废除汉字的主张&#xff0c;他们盲目推崇拉丁文&#xff0c;认为汉语是落后的语言&#xff0c;却不知这是对中华文字深厚底蕴的无知与曲解。如今回望&#xff0c;汉字的独特…...

编程新知 2026/5/20 10:22:21

告别键盘连击烦恼：KeyboardChatterBlocker 智能解决方案详解

告别键盘连击烦恼&#xff1a;KeyboardChatterBlocker 智能解决方案详解 【免费下载链接】KeyboardChatterBlocker A handy quick tool for blocking mechanical keyboard chatter. 项目地址: https://gitcode.com/gh_mirrors/ke/KeyboardChatterBlocker 你是否曾经在打…...

编程新知 2026/5/20 9:17:17

为什么我劝你放弃FLANN 1.9.2？聊聊源码编译那些坑与1.9.1版的真香选择

为什么FLANN 1.9.1才是开发者更明智的选择&#xff1a;深度解析编译陷阱与版本决策 在开源库的世界里&#xff0c;"最新版本"往往被默认为"最佳选择"&#xff0c;但FLANN 1.9.2却打破了这个常规认知。作为一名经历过无数次深夜调试的开发者&#xff0c;我必…...

编程新知 2026/5/20 8:43:49

告别Keil4！手把手教你用Keil C51 V9.61编译51单片机代码（附最新激活方法）

51单片机开发效率革命&#xff1a;Keil C51 V9.61全栈升级指南 当你的51单片机项目编译进度条像蜗牛爬行时&#xff0c;当老旧开发环境频繁卡顿崩溃时&#xff0c;开发者们都在期待一场彻底的效率革命。Keil C51 V9.61的发布&#xff0c;正是针对这些痛点的技术回应——它不仅将…...

编程新知 2026/5/20 8:39:24